Si rende necessaria quando il canale trasmissivo non può trasportare un flusso informativo qualsiasi [484]   [484] Questo limite può essere causato da una insufficiente capacità di canale (§ 17.3), o da una limitata disponibilità di risorse, come ad es. nella archiviazione dei dati in memoria., ma esiste un limite R_M alla massima velocità di codifica R, ovvero si impone che R ≤ R_M. Ciò è possibile a patto di accettare una perdita di informazione che si traduce nell’insorgere di una distorsione D del messaggio, di cui vogliamo stabilire l’entità D(R), in funzione della velocità R. Siamo altresì interessati a stabilire il viceversa, ovvero quale sia la minima velocità di trasmissione R(D), qualora si accetti una distorsione D ≤ D_M.

Quando la massima velocità R_M è inferiore al tasso informativo (10.223) della sorgente, anche la codifica più efficiente sviluppa una velocità R eccessiva e dunque si è obbligati a scartare informazione, come ad esempio omettere la trasmissione di intere codeword, con la conseguenza di introdurre errori (o distorsione D) nel messaggio codificato [485]   [485] La perdita di informazione per messaggi discreti determina la corruzione del messaggio, come la mancanza di parti di testo, di un’immagine, o di un video. Ma nel caso di trasmissione dati si preferisce impiegare più tempo per la trasmissione, piuttosto che perdere informazione., in proporzione tanto maggiore quanto minore è R_M.

Qui abbiamo due strade possibili: o intraprendere un processo di campionamento e quantizzazione (§ 4.3) per produrre un segnale numerico con velocità R ≤ R_M, ed incorrere in una distorsione di quantizzazione D tanto maggiore quanto minore è la R_M consentita, oppure effettuare una trasmissione analogica del segnale x(t) con una potenza S, con le conseguenze

Nel caso continuo pertanto, sia che la sorgente venga quantizzata, sia che se ne effettui la trasmissione come segnale analogico, sussiste un legame inverso tra distorsione e velocità di trasmissione, il cui studio prende il nome di teoria velocità-distorsione, di cui discutiamo ora.

Per individuare la relazione R(D) tra la minima velocità R di trasmissione di una codifica (con perdite) di una sorgente informativa e la distorsione D che si ritiene accettabile ci riferiamo alla figura a lato, in cui un simbolo (sorgente discreta) o valore (s. continua) x da trasmettere viene rappresentato mediante codeword c = f(x) di R binit, limitando dunque l’alfabeto a 2^R elementi, a cui si associa in ricezione un nuovo valore x̂ = g(f(x)) ≠ x. La corrispondenza tra x ed x̂ viene quindi espressa in termini probabilistici come p(x̂ ⁄ x), mentre indichiamo con d(x, x̂) la misura della distorsione corrispondente [487]   [487] Per sorgenti continue d(x̂, x) può ad es. corrispondere ad un valore quadratico medio (o varianza, o potenza) dell’errore di quantizzazione dei suoi campioni (§ 4.1), mentre p(x̂ ⁄ x) dipende dalla caratteristica di quantizzazione f(x) (§ 4.3), e fornisce prob. pari ad uno al valore quantizzato x̂_k (o centroide) associato all’intervallo I_k in cui cade il campione x (vedi anche §§ 4.3.2 e 10.1.2.4). Prevedere anche per x̂ un valore probabilistico generalizza sia il concetto che la trattazione.. A questo punto è possibile definire la distorsione media D_x in cui si incorre nel rappresentare un generico valore (o simbolo) x mediante x̂ come un valore atteso, ossia la cui entità dipende sia dalla scelta della misura d(x, x̂) che dalla d.d.p. p(x̂ ⁄ x), risultato della scelta delle operazioni di codifica c = f(x) e restituzione x̂ = g(c).

E’ il nome dato alla relazione R(D) definita come la soluzione ad un problema di minimizzazione [488]   [488] Per gli amanti del rigore analitico, il processo logico-matematico che motiva tale definizione viene sviluppato ad esempio al cap. 13 del testo Elements of Information Theory di T.M. Cover e J.A. Thomas (1991, Wiley), reperibile ad es. presso  http://www.cs-114.org/wp-content/uploads/2015/01/Elements_of_Information_Theory_Elements.pdf, ossia come quella che rende minima l’informazione mutua media I(x̂;x) tra x e x̂ al variare di p(x̂ ⁄ x) in tutti i modi possibili, in modo da mantenere D_x inferiore alla distorsione desiderata D: Ricordando le osservazioni svolte al § 9.4.3 a proposito di I(X̂;X), questa misura quanto la conoscenza di x̂ riduce l’incertezza a riguardo di x, incertezza che altrimenti [489]   [489] Per x̂ incognito, oppure statisticamente indipendente da x. sarebbe pari all’entropia H(X): intuitivamente si desidera che tale riduzione sia la massima possibile, e dunque la minimizzazione espressa dalla (10.242) va considerata congiuntamente al vincolo p(x̂ ⁄ x): D_x ≤ D, vincolo conseguibile purché I(x̂;x) sia grande a sufficienza.

Soluzioni generali per (10.242) sono difficili da ottenere [490]   [490] Benché esista un metodo iterativo di soluzione, vedi https://en.wikipedia.org/wiki/Blahut-Arimoto_algorithm, ma si può comunque mostrare che R(D) è continua, monotonicamente decrescente, e convessa (ossia ad U). Sussiste inoltre un limite inferiore valido per criteri di distorsione d(x, x̂) di tipo errore quadratico e per sorgenti qualsiasi e senza memoria, ma che ora illustriamo per il caso continuo, e che afferma dove h(X) è l’entropia differenziale della sorgente, e h(D) quella di una v.a. gaussiana con varianza D. Per dimostrare la (10.243) iniziamo osservando che in base alla relazione I(X;X̂) = h(X) − h(X ⁄ X̂) (§ 9.4.3) possiamo scrivere la (10.242) come in cui l’ultimo termine esprime l’incertezza residua su X una volta nota la sua codifica X̂, incertezza pari a zero qualora X̂ = X, e dunque abbiamo R(D)|_D = 0 = h(X). Se invece D > 0 possiamo scrivere in cui la prima eguaglianza significa che, dopo la conoscenza di X̂, rimane la stessa incertezza sia a riguardo del valore vero X che a riguardo dell’errore X − X̂ [491]   [491] Ciò è conseguenza del fatto che, come osservato a pag. 1, l’entropia differenziale di una v.a. dipende dal suo valore medio, che in questo caso è X̂.; la successiva diseguaglianza deriva invece dalla constatazione che aggiungendo informazione (X̂) l’entropia non può aumentare, e dunque h(X − X̂ ⁄ X̂) ≤ h(X − X̂). Dato però che nella (10.244) l’ultimo termine compare con il segno meno, sostituendovi la (10.245) si ottiene Per arrivare alla (10.243) è ora sufficiente osservare che una distorsione definita come D = E{(X − X̂)²} è a tutti gli effetti una varianza σ², dunque la condizione D_x ≤ D pone un limite σ² ≤ D alla varianza dell’errore X − X̂. Al §  9.3.2 si è mostrato che la sorgente che fornisce la massima entropia differenziale h per σ² assegnata è gaussiana, con h = 1 2log₂(2πeσ²), e dunque max_Dx ≤ D{h(X − X̂)} ≤ 12 log₂(2πeD), che sostituita nella (10.246) fornisce la (10.243).

Qualora la v.a. continua x sia di tipo gaussiano, senza memoria e con varianza σ²_x, inserendo l’espressione della corrispondente entropia differenziale (10.235) nella (10.243) si ottiene una funzione velocità-distorsione (10.242) pari a con il segno di uguale [492]   [492] Ciò deriva dal considerare x = x̂ + e con x̂ ed e v.a. gaussiane statisticamente indipendenti, di varianza rispettivamente e σ²_x − D e D: in tali condizioni si ottiene E{(X − X̂)²} = D e I(X;X̂) = 12log₂σ²_x D., ovvero la sorgente gaussiana consegue il limite inferiore (10.243). Osserviamo ora che per D = σ²_x si ottiene R(D)|_{D = σ²x} = 0 ovvero non occorre trasmettere nulla (x̂ = 0), in modo che l’errore e = x − x̂ = x abbia appunto potenza σ²_x = D. Se poi D > σ²_x ossia la distorsione è superiore alla potenza di segnale, è sufficiente generare un valore x̂ gaussiano, a media nulla, indipendente da x e di varianza D − σ²_x per ottenere una distorsione E{(x − x̂)²} = σ²_x + D − σ²_x = D.

In questo caso l’entropia h(X) è inferiore al caso gaussiano, e quindi il limite (10.243) fornisce un valore R(D)_min più piccolo di (10.247), abbassando la curva mostrata sopra. Una volta stabilito un modello (anche sperimentale) della d.d.p. della nostra sorgente, e valutata (anche numericamente) la sua entropia, possiamo usare la (10.243) per tracciare la relativa curva R(D)_min, e confrontare rispetto ad essa le prestazioni conseguite dal metodo di codifica che stiamo sviluppando, come esemplificato a lato.

Invertendo la relazione (10.247) si ottiene [493]   [493]  R = − 12 log₂D σ²_x ⟹  − 2R = log₂D σ²_x ⟹ 2^− 2R = D σ²_x ⟹ D = 2^− 2Rσ²_x che la minima distorsione D conseguibile da una sorgente gaussiana in corrispondenza ad una velocità di R binit/campione risulta pari a ovvero la distorsione per sorgenti gaussiane e con R fissato è proporzionale alla varianza σ²_x, e decresce esponenzialmente con la velocità, come mostrato in figura.

Definendo il rapporto segnale-rumore in dB (§ 8.1) come 10 log₁₀ σ²_xD la (10.248) consente di ottenere ossia un miglioramento di 6 dB per ogni binit in più utilizzato per la codifica di un campione, confermando in pieno il risultato già ricavato al § 4.3.1.1.

Il valore (10.248) rappresenta un limite superiore per la distorsione a velocità R per una sorgente non gaussiana, o gaussiana ma con memoria, per la quale si possono ottenere valori di distorsione inferiori; la (10.248) individua quindi il più grande valore della distorsione minima, per velocità R e potenza σ²_x assegnate. D’altra parte è anche definito un limite inferiore D_L(R) che individua la minima distorsione sotto cui non si può scendere per un dato R per sorgenti non gaussiane e senza memoria, in modo da poter scrivere in cui Q è la...

Esprime una quantità direttamente legata all’entropia differenziale della sorgente, con valore che per sorgenti gaussiane fornisce Q_G = σ²_x, mentre per altri tipi di v.a. si ottiene un valore inferiore [494]   [494] Ad esempio per una v.a. uniforme si ottiene Q_U = 0.703 ⋅ σ²_x. Si può anche interpretare Q come la varianza di una sorgente gaussiana con la stessa entropia della sorgente in esame. Sostituendo (10.250) in (10.249) osserviamo come il limite inferiore di distorsione D_L(R) si riduce al diminuire di h(X), ovvero sorgenti meno informative conseguono distorsioni minori a parità di velocità.

Come per il caso di sorgenti discrete anche per quelle continue la dipendenza statistica tra i campioni di segnale riduce la quantità di informazione emessa, cosicché a parità di distorsione la sorgente può essere codificata a velocità ridotta, oppure a parità di velocità si può conseguire una distorsione inferiore. Anche stavolta la sorgente più difficile (ossia a cui compete la massima distorsione minima) è quella gaussiana, per la quale si ottengono risultati la cui interpretazione è molto interessante; prima di esporli conviene però fare un piccolo passo indietro.

Analogamente al caso discreto (§ 9.2), per una sequenza (o vettore colonna) x = (x₁, x₂⋯, x_n)^T di n v.a. con ampiezza continua, descritte da una d.d.p. congiunta p(x), si definisce una entropia differenziale a blocco come la cui valutazione è generalmente intrattabile. Se consideriamo un processo gaussiano x(t) limitato in banda, a media nulla, stazionario e con densità di potenza P_x(f) colorata, i suoi campioni x_k = x(kT_c) (cap. 4) hanno d.d.p. congiunta (§ 6.5) dove R_xx = E{xx^⊤} è la matrice di correlazione, simmetrica e con elementi diagonali uguali tra loro e pari a R_xx(i, i) = E{x²} = σ²_x. In tal caso la (10.251) fornisce [495]   [495] La dimostrazione penso sia simile a quella del § 9.3.2, con le complicazioni della notazione matriciale. da cui, dopo aver definito l’entropia differenziale per simbolo come h(X) = lim_{n → ∞} h_n(X), ricaviamo la potenza entropica per questo caso, pari a [496]   [496] Infatti lim_{n → ∞}h_n(X) = 12 log₂(2πelim_{n → ∞}( det(R_x))^1⁄_n)  ⇒ 

.  ⇒  2h(X) = log₂(2πelim_{n → ∞}( det(R_x))^1⁄_n)  ⇒  2^2h(X) = 2πelim_{n → ∞}( det(R_x))^1⁄_n  ⇒ 

.  ⇒  2^2h(X) 2π e = Q = lim_{n → ∞}( det(R_x))^1⁄_n. Per la seconda uguaglianza della (10.252), si veda il § 9.6.3.

(vedi § 9.6.3) dove 0 ≤ γ²_x ≤ 1 è una misura di piattezza spettrale [497]   [497] Vedi https://en.wikipedia.org/wiki/Spectral_flatness, o meglio N.S. Jayant, P. Noll, Digital Coding of Waveforms, 1984 Prentice Hall. Si può mostrare che γ²_x può essere interpretato come il rapporto tra la media geometrica e la media aritmetica della densità spettrale di potenza P_x(f) del processo x(t) limitato in banda ± W: indicando con S_k = P_x(f_k), k = 1, 2, ⋯, N, i campioni equispaziati della densità spettrale valutati a frequenze positive f_k tra zero e la massima frequenza , si ha

γ²_x = lim_{N → ∞} (^N∏_k = 1S_k)^1⁄_N 1 N ^N⎲⎳_k = 1S_k = exp⎛⎝1 2W ^W⌠⌡_− Wln P_x(f)df⎞⎠ 1 2W ^W⌠⌡_− WP_x(f)df

Nel caso di un processo bianco, per il quale i valori S_k sono tutti uguali, le due medie coincidono, e γ²_x = 1. Altrimenti, γ²_x risulta tanto più piccolo quanto più i valori S_k si discostano dal loro valore medio. che vale uno per un processo bianco o senza memoria, tornando così all’espressione Q = σ²_x valida in tal caso. Viceversa Q si riduce (γ²_x < 1) per un processo gaussiano a valori correlati, e quindi con una densità spettrale colorata ed una maggiore predicibilità dei suoi valori, e dunque una minore entropia.

Il valore di Q (10.252) consente il calcolo del limite inferiore definito alla (10.249): Mostriamo ora in quale caso la distorsione effettiva consegue il limite ossia D_G, mem(R) = D_{L, G, mem}(R), e quale sia il valore D_G, mem(R) > D_{L, G, mem}(R) in caso contrario.

Le funzioni (10.247) e (10.248) nel caso di sorgente gaussiana con memoria, i cui campioni sono descritti da uno spettro di densità di potenza S_xx(e ^jω) colorato, devono essere espresse in forma parametrica come [498]   [498] Di questo non viene fornita dimostrazione, di cui trovo indicazione essere presente in T. Berger, Rate distortion theory, Prentice-Hall 1971, che non trovo pubblicamente disponibile in rete. in cui all’aumentare di φ, D aumenta ed R diminuisce, come andiamo a spiegare con l’aiuto della figura 9.13.

Osserviamo ora che ponendo φ > max{S_xx(e ^jω)} la sagoma di S_xx(e ^jω) si riempie completamente d’acqua, la (10.254) fornisce D = σ²_x, mentre la (10.254) restituisce R = 0; viceversa nel caso in cui φ < min{S_xx(e ^jω)} ci si trova nelle condizioni di bassa distorsione per le quali D consegue il suo valore limite inferiore espresso dalla (10.253), ovvero dove 0 ≤ γ²_x ≤ 1 è la misura di piattezza spettrale già introdotta nella (10.252). Qualora S_xx(e ^jω) sia costante risulta γ²_x = 1, ri-ottenendo così il risultato (10.248) trovato per il caso senza memoria.

In questo caso la (10.256) si riscrive sostituendo al posto di σ²_x la potenza entropica Q espressa dalla (10.250) in cui il valore di entropia differenziale è ora quello della sorgente con memoria, inferiore al caso senza memoria, ottenendo così valori D(R) ancora inferiori.