Sezione 8.5: Appendice Su Part I: Teoria dei Segnali Sezione 9.1: Codifica di sorgente discreta 

9 Teoria dell’informazione e codifica di sorgente

Come evidenziato fin dal cap. 1, il motivo per voler trasmettere un segnale deriva dall’informazione che lo stesso convoglia. Descrivere e misurare questo concetto è indissolubilmente legato alla caratterizzazione della entità che produce il segnale, indicata come sorgente, che può essere continua o discreta, con o senza memoria, e che si assume di tipo stazionario, ovvero invariante nel tempo. Dopo aver individuato come misurare l’informazione media (chiamata entropia) contenuta nei segnali prodotti da una sorgente, ci occupiamo di rappresentare gli stessi in una forma (chiamata codifica di sorgente) in grado di ridurre la quantità di dati da trasmettere (ovvero la banda da occupare) senza pregiudicare la qualità del messaggio, ossia senza perdere informazione. Mentre nel caso di sorgente discreta è possibile pervenire a soluzioni in tal senso ottimali, per le sorgenti di segnali tempo-continui l’analisi perviene alla possibilità di ridurre gradualmente la banda necessaria alla trasmissione, accettando l’insorgenza di una distorsione che rappresenta l’associata perdita di informazione. Approfondimenti sulla codifica di sorgenti multimediali sono svolti al capitolo 10, mentre il cap. 17 determina il massimo tasso informativo che un canale può trasportare, ossia la sua capacità, ed illustra come proteggere dagli errori di ricezione l’informazione trasmessa, ovvero il tema della codifica di canale.
Tipi di sorgente ed elementi che ne consentono la codifica
Una sorgente informativa può essere di natura discreta, come nel caso di un documento scritto, o continua, come nel caso di un segnale analogico, ad esempio audio e video. In entrambi i casi, considerazioni di tipo statistico conducono a misurare (in bit/simbolo) la quantità media di informazione presente nei messaggi prodotti mediante la definizione di una grandezza, l’entropia. Ma allo stesso tempo la descrizione in modo nativo di tali messaggi può produrre una velocità di trasmissione ben superiore!
La codifica di sorgente ha lo scopo di individuare rappresentazioni alternative per le informazioni prodotte dalla sorgente in modo da ridurre il numero di bit/secondo necessari alla trasmissione, e renderlo quanto più possibile prossimo a quello indicato dell’entropia. Ciò avviene sfruttando le caratteristiche della sorgente, del processo di codifica, e del destinatario dei messaggi, in quanto
Nel caso di sorgenti nativamente discrete, come ad esempio documenti in formato elettronico, lo scopo della codifica di sorgente è quello di permettere la ricostruzione integrale di quanto trasmesso, realizzando una codifica senza perdita di informazione. Nel caso invece di sorgenti continue, dove la sequenza numerica è il risultato di un processo di campionamento e quantizzazione, si determina l’insorgenza di una prima causa di distorsione nel messaggio ricostruito; la velocità binaria effettiva può quindi essere ulteriormente ridotta grazie allo sfruttamento dei fenomeni percettivi, ed in tal caso il risultato della codifica viene detto con perdita di informazione.
 Sezione 8.5: Appendice Su Part I: Teoria dei Segnali Sezione 9.1: Codifica di sorgente discreta