Descrivono da un punto di vista informativo i messaggi prodotti da una coppia di sorgenti, ovvero componenti di una v.a. bidimensionale; i risultati ottenuti saranno utilizzati nel contesto della quantizzazione (§ 9.5) e della codifica di canale (cap. 17). Vengono poi introdotti altri due risultati (§§ 9.4.4 e 9.4.5), utilizzati specificatamente in altri contesti. Per semplicità, le definizioni vengono espresse nei termini di v.a. discrete.

Si riferisce a due v.a. X e Y le cui realizzazioni sono descritte dalle d.d.p. marginali p(x) e p(y) e dalla d.d.p. congiunta p(x, y), ed è definita come L’entropia congiunta risulta sempre non negativa, e delimitata tra con l’ultimo  ≤  che diviene un’uguaglianza qualora le v.a. siano statisticamente indipendenti ovvero p(x, y) = p(x)p(y). Nel caso di v.a. continua sussiste l’equivalente definizione per l’entropia differenziale congiunta

Come la precedente si riferisce a due v.a. X e Y descritte dalle d.d.p. p(x), p(y) e dalla d.d.p. condizionata p(y ⁄ x) = ^p(x, y)⁄_p(x), viene definita come e per essa sussiste la relazione che si ottiene dalla (10.238) considerando che p(y ⁄ x) = ^p(x, y)⁄_p(x). In base alla relazione analoga per p(x ⁄ y) è altrettanto vero che H(X ⁄ Y) = H(X, Y) − H(Y), e dunque sussiste anche l’equivalente del teorema di Bayes (§ 6.1.4), ovvero H(Y ⁄ X) = H(X ⁄ Y) + H(Y) − H(X).

Anche questa grandezza tiene conto di due v.a. X e Y [479]   [479] Vedi anche la trattazione al § 17.1.3 e seguenti nel caso in cui X ed Y siano le grandezze in ingresso ed in uscita da un canale di comunicazione. descritte dalle d.d.p. marginali p(x) e p(y), nonché dalla d.d.p. congiunta p(x, y); la sua definizione è ed ha un valore positivo o nullo, quest’ultimo se (e solo se) la v.a. sono indipendenti, ovvero p(x, y) = p(x)p(y). Il valore di I(X, Y) misura l’informazione che X e Y condividono, ovvero quanto la conoscenza di una riduce l’incertezza a riguardo dell’altra. Per essa sussistono le eguaglianze [480]   [480] Vedi ad es. https://en.wikipedia.org/wiki/Mutual_information, ma anche la nota 925 a pag. 17.1 che possono essere meglio apprezzate nei termini di unione, differenza ed intersezione di insiemi, come raffigurato nel diagramma mostrato a lato. In particolare, in base alle prime due eguaglianze possiamo dire che I(X;Y) è pari all’entropia di una delle due v.a., meno il numero di bit a simbolo necessari a descriverla qualora l’altra v.a. sia nota, ovvero meno l’incertezza residua qualora una delle due sia nota.

Meglio nota come Divergenza di Kullback Leibler, è una misura di quanto una d.d.p. p(x) è differente da una seconda q(x), di riferimento. E’ definita dall’espressione [482]   [482] Vedi ad es. https://en.wikipedia.org/wiki/Kullback-Leibler_divergence ed è descritta anche come entropia relativa da q a p, o divergenza di p da q. Il suo valore è positivo o nullo, e si azzera quando p(x) = q(x); non può essere però adottata come una distanza, in quanto non è simmetrica (ovvero D_KL(p||q) ≠ D_KL(q||p)) e non verifica la disuguaglianza triangolare.

La (10.241) può essere vista come il valore di informazione mutua media (10.240) tra due v.a. X e Y, calcolato come divergenza D_KL(p(x, y)|| p(x)p(y)) della d.d.p. congiunta p(x, y) dal prodotto p(x)p(y) delle rispettive marginali. Dato però che la (10.240) prevede una doppia sommatoria mentre la (10.241) soltanto una, si preferisce scrivere in cui la somma su x valuta la divergenza della d.d.p. condizionata p(x ⁄ y) dal modello p(x), mentre la somma esterna su y esegue il valore atteso rispetto ai valori y. Più p(x ⁄ y) e p(x) sono differenti (o divergenti), e maggiore è il guadagno di informazione.

Definita in tempi più recenti, estende il concetto di entropia introdotto da Shannon (10.217), che ne diviene un caso particolare. L’entropia di Rényi di ordine α, con α ≥ 0 ed α ≠ 1, di una v.a. discreta X con alfabeto di n elementi x_i, di probabilità p_i, è definita come [483]   [483] Vedi ad es. https://en.wikipedia.org/wiki/Rényi_entropy In caso di v.a. uniforme con p_i = ¹⁄_n ∀i si ha H_α(X) = log₂n per ∀α; in generale, H_α(X) è una funzione non crescente di α. Per diversi specifici valori di α accade che

Viene inoltre definita una divergenza di Rényi tra due d.d.p. discrete p_i e q_i di uguale cardinalità n come D_α(p|| q) = 1α − 1 log₂ ⎛⎝∑ⁿ_i = 1 p^α_iq^α− 1_i⎞ ⎠ che, per α → 1, corrisponde alla divergenza di Kullback-Leibler (§ 9.4.4).