9.3 Contenuto informativo di sorgente continua
Sebbene l’estensione del concetto di entropia già definito per sorgenti discrete (§
9.1.1) sia abbastanza diretto, la sua applicazione al caso di sorgenti tempo-continue presenta risvolti particolari, che andiamo a discutere.
9.3.1 Entropia differenziale di sorgente continua
L’espressione
(10.217) valida per le sorgenti discrete può essere formalmente estesa al caso di una sorgente continua che produce un processo
x(t) stazionario ed incorrelato, descritto da una d.d.p. del primo ordine
px(x), portando all’espressione
indicata con la
h minuscola per distinguerla dal caso discreto, e chiamata
entropia differenziale a seguito delle proprietà che andiamo ad illustrare.
Dipendenza dalla dinamica
Il valore ottenuto dalla
(10.234) può risultare positivo, negativo o nullo, in funzione della dinamica della variabile aleatoria
X.
Esempio Se calcoliamo il valore di entropia differenziale per un processo i cui valori sono descritti da una variabile aleatoria a distribuzione uniforme px(x) = 1 A rectA(x), otteniamo il risultato h(X) = − 1 A ∫A⁄2 − A⁄2log2⎛⎝1A⎞⎠dx = log2A il cui valore effettivo, appunto, dipende dal valore di A. In particolare, se A = 1 si ottiene h(X) = 0.
L’esempio è un modo per osservare che, in presenza di una v.a. Y = αX scalata di un fattore α, si ottettà h(Y) = h(X) + log2|α|.
Invarianza rispetto alla media
L’entropia differenziale non dipende dal valor medio della variabile aleatoria, ovvero è invariante rispetto alle traslazioni. Per verificare la veridicità di tale affermazione, calcolare per esercizio il valore di h(X) per una d.d.p. px(x) = 1ArectA(x − m).
Confronto tra entropia di processi
Essendo il valore h(X) dipendente dalla dinamica della v.a., l’entropia differenziale sembra inadatta ad esprimere il contenuto informativo assoluto di una sorgente continua; ciononostante può comunque essere utile per confrontare due sorgenti con uguale varianza σ2x, come mostrato alla nota. A tale proposito, valutiamo il valore di entropia differenziale per un caso particolarmente rilevante.
9.3.2 Entropia differenziale di sorgente gaussiana
Applicando la
(10.234) al caso
pX(x) = 1√2πσx e− x2 2σ2x, dopo aver osservato (vedi nota
452) che
− log2p(x) = − ln p(x) ln 2 = 1ln 2⎛⎝ln√2πσ2x + x2 2σ2x⎞⎠
possiamo scrivere
essendo
1 2 = ln e1⁄2, ed avendo di nuovo applicato la nota
452.
9.3.2.1 Massima informazione per processo gaussiano
Al §
9.6.2 si mostra che il processo gaussiano è quello che consegue il massimo valore di entropia differenziale per
σ2x assegnata, ovvero è valida la diseguaglianza
Principio di massima entropia
In presenza di informazioni incomplete a riguardo di un sistema stocastico, come ad es. la conoscenza della sola varianza di una v.a., assumere l’ipotesi di gaussianità a riguardo della d.d.p. che lo governa equivale ad adottare le ipotesi meno restrittive (ovvero più informative) a riguardo..