9 Teoria dell’informazione e codifica di sorgente
Come evidenziato fin dal cap.
1, il motivo per voler trasmettere un segnale deriva
dall’informazione che lo stesso convoglia. Descrivere e misurare questo concetto è indissolubilmente legato alla caratterizzazione della entità che produce il segnale, indicata come
sorgente, che può essere continua o discreta, con o senza memoria, e che si assume di tipo stazionario, ovvero invariante nel tempo. Dopo aver individuato come misurare l’informazione media (chiamata
entropia) contenuta nei segnali prodotti da una sorgente, ci occupiamo di rappresentare gli stessi in una forma (chiamata
codifica di sorgente) in grado di
ridurre la quantità di dati da trasmettere (ovvero la banda da occupare) senza pregiudicare la qualità del messaggio, ossia senza
perdere informazione. Mentre nel caso di sorgente discreta è possibile pervenire a soluzioni in tal senso ottimali, per le sorgenti di segnali tempo-continui l’analisi perviene alla possibilità di ridurre
gradualmente la banda necessaria alla trasmissione, accettando l’insorgenza di una distorsione che rappresenta l’associata perdita di informazione. Approfondimenti sulla codifica di sorgenti multimediali sono svolti al capitolo
10, mentre il cap.
17 determina il massimo tasso informativo che un canale può trasportare, ossia la sua
capacità, ed illustra come
proteggere dagli errori di ricezione l’informazione trasmessa, ovvero il tema della
codifica di canale.
Tipi di sorgente ed elementi che ne consentono la codifica
Una sorgente informativa può essere di natura discreta, come nel caso di un documento scritto, o continua, come nel caso di un segnale analogico, ad esempio audio e video. In entrambi i casi, considerazioni di tipo statistico conducono a misurare (in bit/simbolo) la quantità media di informazione presente nei messaggi prodotti mediante la definizione di una grandezza, l’entropia. Ma allo stesso tempo la descrizione in modo nativo di tali messaggi può produrre una velocità di trasmissione ben superiore!
La codifica di sorgente ha lo scopo di individuare rappresentazioni alternative per le informazioni prodotte dalla sorgente in modo da ridurre il numero di bit/secondo necessari alla trasmissione, e renderlo quanto più possibile prossimo a quello indicato dell’entropia. Ciò avviene sfruttando le caratteristiche della sorgente, del processo di codifica, e del destinatario dei messaggi, in quanto
-
la particolare distribuzione statistica dei simboli o dei valori emessi dalla sorgente può permettere l’uso di un minor numero di bit per rappresentare i simboli più frequenti di altri;
-
la dipendenza statistica presente tra simboli consecutivi, ovvero la presenza di un fenomeno di memoria intrinseco della sorgente, rende possibile la predizione (approssimata) dei valori futuri;
-
l’introduzione di un ritardo di codifica permette di analizzare un intero intervallo temporale del messaggio;
-
nel caso di segnali multimediali i fenomeni percettivi legati alla fisiologia dell’apparato sensoriale possono guidare il codificatore nella scelta delle componenti di segnale da sopprimere, in quanto percettivamente non rilevanti.
Nel caso di sorgenti nativamente discrete, come ad esempio documenti in formato elettronico, lo scopo della codifica di sorgente è quello di permettere la ricostruzione integrale di quanto trasmesso, realizzando una codifica senza perdita di informazione. Nel caso invece di sorgenti continue, dove la sequenza numerica è il risultato di un processo di campionamento e quantizzazione, si determina l’insorgenza di una prima causa di distorsione nel messaggio ricostruito; la velocità binaria effettiva può quindi essere ulteriormente ridotta grazie allo sfruttamento dei fenomeni percettivi, ed in tal caso il risultato della codifica viene detto con perdita di informazione.
scegli
