Teoria dell’informazione e codifica di sorgente

Come evidenziato fin dal primo capitolo, il motivo per voler trasmettere un segnale deriva dall’informazione che lo stesso convoglia. Descrivere e misurare questo concetto è indissolubilmente legato alla caratterizzazione della entità che produce il segnale, indicata come sorgente, che può essere continua o discreta, con o senza memoria, e che si assume di tipo stazionario, ovvero invariante nel tempo. Dopo aver individuato come misurare l’informazione media (chiamata entropia) contenuta nei segnali prodotti da una sorgente, ci occupiamo di rappresentare gli stessi in una forma (chiamata codifica di sorgente) in grado di ridurre la quantità di dati da trasmettere (ovvero la banda da occupare) senza pregiudicare la qualità del messaggio, ossia senza perdere informazione. Mentre nel caso di sorgente discreta è possibile pervenire a soluzioni in tal senso ottimali, per le sorgenti di segnali tempo-continui l’analisi perviene alla possibilità di ridurre gradualmente la banda necessaria alla trasmissione, accettando l’insorgenza di una distorsione che rappresenta l’associata perdita di informazione. Approfondimenti sulla codifica di sorgenti multimediali sono svolti al capitolo successivo, mentre nella terza parte si determina il massimo tasso informativo che un canale può trasportare, ossia la sua capacità, e si illustra come proteggere dagli errori di ricezione l’informazione trasmessa, ovvero il tema della codifica di canale.

Tipi di sorgente ed elementi che ne consentono la codifica Una sorgente informativa può essere di natura discreta, come nel caso di un documento scritto, o continua, come nel caso di un segnale analogico, ad esempio audio e video. In entrambi i casi, considerazioni di tipo statistico conducono a misurare (in bit/simbolo) la quantità media di informazione presente nei messaggi prodotti mediante la definizione di una grandezza, l’entropia. Ma allo stesso tempo la descrizione in modo nativo di tali messaggi può produrre una velocità di trasmissione ben superiore!

La codifica di sorgente ha lo scopo di individuare rappresentazioni alternative per le informazioni prodotte dalla sorgente in modo da ridurre il numero di bit/secondo necessari alla trasmissione, e renderlo quanto più possibile prossimo a quello indicato dell’entropia. Ciò avviene sfruttando le caratteristiche della sorgente, del processo di codifica, e del destinatario dei messaggi, in quanto

  • la particolare distribuzione statistica dei simboli o dei valori emessi dalla sorgente può permettere l’uso di un minor numero di bit per rappresentare i simboli più frequenti di altri;
  • la dipendenza statistica presente tra simboli consecutivi, ovvero la presenza di un fenomeno di memoria intrinseco della sorgente, rende possibile la predizione (approssimata) dei valori futuri;
  • l’introduzione di un ritardo di codifica permette di analizzare un intero intervallo temporale del messaggio;
  • nel caso di segnali multimediali i fenomeni percettivi legati alla fisiologia dell’apparato sensoriale possono guidare il codificatore nella scelta delle componenti di segnale da sopprimere, in quanto percettivamente non rilevanti.

Nel caso di sorgenti nativamente discrete, come ad esempio documenti in formato elettronico, lo scopo della codifica di sorgente è quello di permettere la ricostruzione integrale di quanto trasmesso, realizzando una codifica senza perdita di informazione. Nel caso invece di sorgenti continue, dove la sequenza numerica è il risultato di un processo di campionamento e quantizzazione, si determina l’insorgenza di una prima causa di distorsione nel messaggio ricostruito; la velocità binaria effettiva può quindi essere ulteriormente ridotta grazie allo sfruttamento dei fenomeni percettivi, ed in tal caso il risultato della codifica viene detto con perdita di informazione.


Download PDF del capitolo   |   indice dei capitoli
Oppure naviga avanti ed indietro tra le introduzioni dei diversi capitoli con i link in basso