Sezione 9.2: Sorgente discreta con memoria Su Capitolo 9: Teoria dell’informazione e codifica di sorgente Sezione 9.4: Misure di informazione per una coppia di v.a. 

9.3 Contenuto informativo di sorgente continua

Sebbene l’estensione del concetto di entropia già definito per sorgenti discrete (§ 9.1.1) sia abbastanza diretto, la sua applicazione al caso di sorgenti tempo-continue presenta risvolti particolari, che andiamo a discutere.

9.3.1 Entropia differenziale di sorgente continua

L’espressione (10.217) valida per le sorgenti discrete può essere formalmente estesa al caso di una sorgente continua che produce un processo x(t) stazionario ed incorrelato, descritto da una d.d.p. del primo ordine px(x), portando all’espressione
(10.234)
h(X) = E{− log2 px(x)} = − ⌠⌡ px(x) log2 px(x) dx
indicata con la h minuscola per distinguerla dal caso discreto, e chiamata entropia differenziale a seguito delle proprietà che andiamo ad illustrare.
Dipendenza dalla dinamica
Il valore ottenuto dalla (10.234) può risultare positivo, negativo o nullo, in funzione della dinamica della variabile aleatoria X.
Esempio Se calcoliamo il valore di entropia differenziale per un processo i cui valori sono descritti da una variabile aleatoria a distribuzione uniforme px(x) = 1 A rectA(x), otteniamo il risultato h(X) = − 1 A ∫A⁄2 − A⁄2log2⎛⎝1A⎞⎠dx = log2A il cui valore effettivo, appunto, dipende dal valore di A. In particolare, se A = 1 si ottiene h(X) = 0.
L’esempio è un modo per osservare che, in presenza di una v.a. Y = αX scalata di un fattore α, si ottettà h(Y) = h(X) + log2|α|.
Invarianza rispetto alla media
L’entropia differenziale non dipende dal valor medio della variabile aleatoria, ovvero è invariante rispetto alle traslazioni. Per verificare la veridicità di tale affermazione, calcolare per esercizio il valore di h(X) per una d.d.p. px(x) = 1ArectA(x − m).
Confronto tra entropia di processi
Essendo il valore h(X) dipendente dalla dinamica della v.a., l’entropia differenziale sembra inadatta ad esprimere il contenuto informativo assoluto di una sorgente continua; ciononostante può comunque essere utile per confrontare due sorgenti con uguale varianza σ2x, come mostrato alla nota [477]   [477]  In effetti esiste una misura di entropia assoluta per sorgenti continue, che però ha la sgradevole caratteristica di risultare sempre infinita. Infatti, approssimando la (10.234) come limite a cui tende una sommatoria, e suddividendo l’escursione dei valori di x in intervalli uguali Δx, possiamo scrivere
habs(x)  =   limΔx → 0⎲⎳ip(xi)Δxlog21 p(xi)Δx  =   limΔx → 0⎲⎳i⎡⎣p(xi)Δxlog21 p(xi) + p(xi)Δxlog21 Δx⎤⎦ = h(x) + h0
in cui h(x) è proprio la (10.234) mentre h0 = − limΔx → 0log2Δx ∫∞−∞p(x)dx = − limΔx → 0log2Δx = ∞. D’altra parte, la differenza tra le entropie assolute di due sorgenti z e x risulta pari a habs(z) − habs(x) = h(z) − h(x) + h0(z) − h0(x), in cui la seconda differenza tende a  − log2ΔzΔx che, se z ed x hanno la medesima dinamica, risulta pari a zero.. A tale proposito, valutiamo il valore di entropia differenziale per un caso particolarmente rilevante.

9.3.2 Entropia differenziale di sorgente gaussiana

Applicando la (10.234) al caso pX(x) = 1√2πσx e− x2 2σ2x, dopo aver osservato (vedi nota 273) che
 − log2p(x) = − ln p(x) ln 2 = 1ln 2⎛⎝ln√2πσ2x + x2 2σ2x⎞⎠
possiamo scrivere
(10.235)
hG(X)  = − ⌠⌡p(x)log21√2πσx e− x2 2σ2xdx = ⌠⌡p(x)1 ln 2⎛⎝ln√2πσ2x + x2 2σ2x⎞⎠dx =    = 1 ln 2 ⎛⎝ln√2πσ2x ∞⌠⌡ −∞p(x)dx + 1 2σ2x ∞⌠⌡ −∞p(x)x2dx⎞⎠ =    = 1 ln 2 ⎛⎝ln√2πσ2x + 1 2⎞⎠ = 1 ln 2 ln√2πeσ2x = log2√2πeσ2x =      = 12 log2(2πeσ2x)
essendo 1 2 = ln e1⁄2, ed avendo di nuovo applicato la nota 273.

9.3.2.1 Massima informazione per processo gaussiano

Al § 9.6.2 si mostra che il processo gaussiano è quello che consegue il massimo valore di entropia differenziale per σ2x assegnata, ovvero è valida la diseguaglianza
(10.236)
hG(X) = 12 log2(2πeσ2x) > h(X)   data   σ2x
Principio di massima entropia
In presenza di informazioni incomplete a riguardo di un sistema stocastico, come ad es. la conoscenza della sola varianza di una v.a., assumere l’ipotesi di gaussianità a riguardo della d.d.p. che lo governa equivale [478]   [478] Approfondimenti presso https://en.wikipedia.org/wiki/Principle_of_maximum_entropy ad adottare le ipotesi meno restrittive (ovvero più informative) a riguardo..
 Sezione 9.2: Sorgente discreta con memoria Su Capitolo 9: Teoria dell’informazione e codifica di sorgente Sezione 9.4: Misure di informazione per una coppia di v.a.