E’ quindi naturale chiedersi: fino a che punto si può arrivare, ovvero di quanto si può ridurre la P_e, e quanta ridondanza è necessario aggiungere? La risposta fornita in questa sezione è che, finché il tasso informativo R si mantiene inferiore al valore di una grandezza C denominata capacità di canale, definita ai § 11.2.3↓ e 11.2.4↓, il canale può trasportare l’informazione (teoricamente) senza errori! Mentre se al contrario R > C, non è possibile trovare nessun procedimento in grado di ridurre gli errori - che anzi, divengono praticamente certi. Infine per quanto riguarda la ridondanza che occorre aggiungere, pur senza spiegare come fare, la teoria assicura che questa può essere resa trascurabile! Ma prima di approfondire l’enunciazione di questi risultati, svolgiamo alcune riflessioni su come

Il canale è detto simmetrico perché tali sono le probabilità condizionate in avanti: la probabilità di errore e la probabilità (complementare) di non-errore

Se disponiamo della conoscenza delle probabilità a priori p(x₁) e p(x₂), ed i due simboli x₁ ed x₂ non sono equiprobabili [455]  [455] In caso contrario (ovvero x₁ ed x₂ sono equiprobabili) la 12.15↓ è equivalente alla 12.14↑. Nei casi in cui non si conosca la statistica di sorgente, non si può quindi fare altro che attuare una decisione di massima verosimiglianza., possiamo costruire RD utilizzando le probabilità a posteriori p(x₁  ⁄ y₁) e p(x₂ ⁄ y₁), calcolabili applicando il teorema di Bayes (vedi § 5.1.4↑). Facendo di nuovo il caso di aver ricevuto il simbolo y₁, scriviamo In questo caso RD_MAP assume valori  >  o   <  di 1 correggendo la (12.14↑) in base alla conoscenza delle probabilità a priori: .

Consideriamo una sorgente discreta che emette simboli x appartenenti ad un alfabeto finito di cardinalità L, ossia x ϵ {x_i} con i  = 1, 2, ⋯, L, a cui è associata la distribuzione p(x_i), ed indichiamo con y ϵ {y_j} (con j = 1, 2, ⋯, L) il simbolo ricevuto, in generale diverso da x, a causa di errori introdotti dal canale. Conoscendo le densità di probabilità p(x_i), p(y_j), e le probabilità congiunte p(x_i,  y_j), possiamo definire la quantità di informazione in comune tra x_i e y_j, denominata informazione mutua, come [456]   [456] Per ottenere (12.16↓) si ricordi che p(x_i,  y_j) = p(x_i  ⁄ y_j)p(y_j)  = p(y_j  ⁄ x_i)p(x_i) Notiamo che

Illustriamo l’applicazione di questi risultati con un paio di esempi:

I simboli ad L livelli sono ottenuti a partire da M bit prodotti da una codifica binaria a velocità f_b, risultando f_b ≥ R  = H_x in funzione della ottimalità o meno del codificatore; pertanto, risulta R  ≤ f_b = f_sM = C con l’uguaglianza valida nel caso in cui il codificatore riesca a rimuovere tutta la ridondanza dei messaggi della sorgente, conseguendo in tal caso il massimo trasferimento di informazione.

Al contrario, volendo realizzare una velocità R  > C, il codificatore di sorgente dovrebbe produrre codeword con lunghezze tali da violare la disuguaglianza di Kraft (12.5↑) [461]  [461] Infatti, potrebbe risultare R > C solo se f_b  < R, ovvero il codificatore dovrebbe produrre meno binit/secondo di quanti bit/secondo produca la sorgente, e quindi la regola del prefisso non sarebbe rispettata, causando in definitiva errori di decodifica anche in assenza di rumore!

in cui H_b(p_e) dipende solo dalla probabilità di errore, mentre il termine H_b(p_e + α − 2αp_e) dipende anche dalla statistica di sorgente, e risulta massimizzato e pari ad 1 se p_e  + α − 2αp_e = (1)/(2), come risulta per qualunque p_e se α = (1)/(2), ossia per simboli equiprobabili. Pertanto, la capacità in questo caso è ed il suo andamento è rappresentato alla figura a lato [462]   [462] Sono mostrati solo i valori per 0  ≤ p_e  ≤ 0.5 dato che successivamente l’andamento di C_s si riflette in modo speculare., evidenziando che C_s≃1 bit/simbolo se p_e≃0, ma che poi decade rapidamente a zero se p_e  → 0.5.

Quest’ultimo esempio in particolare ci conferma l’esigenza, in presenza di un canale rumoroso, di attuare tecniche di codifica di canale in grado di ridurre la probabilità di errore, e di preferire tra queste le tecniche che vi riescono mantenendo al minimo la quantità dei bit aggiuntivi. Infatti spesso il canale impone una velocità di trasmissione, parte della quale è impiegata per trasmettere i soli binit di protezione e non l’informazione della sorgente, riducendo di fatto il tasso R effettivamente trasmesso.

Una situazione tipica è quella rappresentata in figura, in cui al segnale ricevuto è sommato un rumore n(t) gaussiano, bianco e a media nulla, mentre il filtro di ricezione H_R(f) impone una limitazione di banda 2B, in modo che la potenza di rumore in ingresso al decisore vale P_n  = σ²_n  = N₀B. Una tale descrizione viene indicata come canale awgn↓↓ (additive white gaussian noise) limitato in banda.

Indicando ora con p(x), p(y), p(x ⁄ y), p(y ⁄ x) le densità di probabilità marginali e condizionali che descrivono un campione dei processi di ingresso x(t) ed uscita y(t), entrambi limitati in banda ±B, l’applicazione formale della (12.17↑) al caso continuo porta a scrivere l’espressione dell’informazione mutua media come che è una misura assoluta [463]  [463] Per il fatto di avere una ddp di y sia a numeratore che a denominatore del logaritmo, la (12.24↑) non soffre dei problemi discussi alla nota 11.1.2.2↑ del trasferimento di informazione per campione di uscita. Il massimo valore di (12.24↑) al variare di p_X(x) consente anche questa volta di definire la capacità di canale per campione C_s = max_p(x)I(X, Y); in virtù della limitazione di banda, i campioni prelevati ad una frequenza di campionamento f_c  = 2B risultano indipendenti tra loro (vedi § 6.2.3↑), cosicché la capacità di canale risulta definita come Riscrivendo la (12.24↑) nella forma si ottiene una espressione analoga alla (12.18↑) ma i cui termini sono ora da intendersi come entropia differenziale, definita in (12.10↑). Osserviamo ora che il termine di noise entropy h(Y  ⁄ X)  = ∫∫^∞_{−  ∞}p_XY(x,  y)log₂(1)/(p_Y(y  ⁄ x))dxdy dipende esclusivamente dal rumore additivo, in quanto y(t) = x(t) + n(t) e quindi p_Y(y ⁄ x)  = p_N(x + n): infatti p_Y(y ⁄ x) altro non è che la gaussiana del rumore, a cui si somma un valor medio fornito dal campione di x; pertanto h(Y  ⁄ X) si riduce all’entropia differenziale di un processo gaussiano, che non dipende dal valor medio, ma solo dall’andamento di p_N(n); pertanto come risulta per l’entropia differenziale di sorgenti gaussiane (12.11↑). Quindi ora il termine della (12.26↑) che deve essere massimizzato rispetto a p(x) è solo il primo, ossia h(Y), che come sappiamo, è massimo se y(t) è gaussiano. Dato che il processo ricevuto y(t) è composto da due termini x(t) + n(t) di cui il secondo è già gaussiano, si ottiene y(t) gaussiano a condizione che anche x(t) sia gaussiano. Indicando con σ²_x la potenza di quest’ultimo, ed in virtù della indipendenza statistica tra x(t) e n(t), risulta σ²_y  = σ²_x  + σ²_n, e quindi cosicché la (12.25↑) si riscrive come che è proprio il risultato tanto spesso citato, che prende il nome di legge di Shannon-Hartley↓ [464]  [464] http://en.wikipedia.org/wiki/Shannon-Hartley_theorem e che esprime la capacità di canale per un canale additivo gaussiano. Tenendo conto che P_n = σ²_n  = N₀B e che P_x è la potenza del segnale ricevuto P_s, riscriviamo l’espressione della capacità nella sua forma più nota: che, associata al teorema fondamentale della codifica espresso al § 11.2.3↑, stabilisce il massimo tasso informativo trasmissibile senza errori su di un canale awgn limitato in banda come R < B⋅log₂(1  + ^P_s⁄_N0B). Discutiamo ora delle conseguenze di questo risultato.

Nella dimostrazione di Shannon ogni simbolo, anziché essere rappresentato da un livello costante, è costituito da un segnale xk(t),  k = 1, 2, …, L di durata Ts, ottenuto prelevando una finestra temporale Ts da una realizzazione di processo gaussiano bianco limitato in banda. Il ricevitore possiede una copia di tali forme d’onda, e per ogni periodo di simbolo calcola l’errore quadratico εk  = (1)/(Ts)∫Ts0(r(t) − xk(t))2dt tra il segnale ricevuto r(t) ed ognuna delle forme d’onda associate ai simboli, decidendo per la trasmissione del simbolo k̂ la cui forma d’onda xk̂(t) fornisce l’errore εk minimo. Mantenendo R fisso e pari al tasso informativo della sorgente, all’aumentare di Ts anche M = RTs aumenta di pari passo, mentre il numero di simboli L  = 2M aumenta esponenzialmente. Claude Shannon ha dimostrato [465]  [465]  Senza pretendere di svolgere l’esatta dimostrazione, tentiamo di dare credibilità a questo risultato. Osserviamo quindi che se r(t) =  xk(t) + n(t), il valore atteso dell’errore εk si riduce a (1)/(Ts)∫Ts0[n(t)]2dt → σ2n, dato che essendo n(t) stazionario ergodico, le medie di insieme coincidono con le medie temporali. Viceversa, se il segnale trasmesso è xh(t) con h ≠ k, allora il relativo errore quadratico vale ε(h)k  = (1)/(Ts)∫Ts0(xh(t) +  n(t)  − xk(t))2dt, ed il suo valore atteso E{ε(h)k} → σ2n + 2σ2x essendo le forme d’onda dei simboli ortogonali tra loro e rispetto al rumore. I valori limite mostrati sono in realtà grandezze aleatorie, ma la loro varianza diviene sempre più piccola all’aumentare di Ts, e quindi in effetti con Ts  → ∞ risulta sempre εk  < ε(h)k, azzerando la probabilità di errore. che, per Ts  → ∞, lo schema indicato riesce effettivamente a conseguire una Pe → 0, tranne per il piccolo particolare che... occorre attendere un tempo che tende a infinito!

In realtà, uno schema di trasmissione numerica che approssima piuttosto bene questo ideale appena discusso esiste veramente, ed è quello esposto al § 14.5.1↓ e indicato come fsk ortogonale. Infatti, il grafico delle sue prestazioni a pag. 1↓ mostra come, aumentando L, lo stesso valore di (E_b)/(N₀) permette di conseguire valori di P_e via via più piccoli.

Notiamo innanzitutto che, mentre per (B)/(R) = 1 il sistema ideale richiede un valore di (E_b)/(N₀) pari ad almeno 0 dB, questo si riduce nel caso in cui la trasmissione occupi una banda maggiore del tasso informativo R, fino a raggiungere (già per valori B >  10R) il limite (12.28↑) di -1.6 dB. D’altra parte, qualora la trasmissione impegni una banda inferiore ad R, il valore di (E_b)/(N₀) necessario aumenta in modo piuttosto brusco.

La figura 11.16↓ riporta i valori di (E_b)/(N₀) vs (B)/(R) per le tecniche di modulazione numerica qam (§ 14.3.1↓) e fsk ortogonale (pag. 1↓): a partire dai rispettivi andamenti della P_e in funzione di (E_b)/(N₀) ed L, si sono ricavati i valori di (E_b)/(N₀) necessari ad ottenere una P_e pari a 10^− 5 per diversi valori di L, e questi sono stati riportati nel grafico assieme alla banda occupata, valutata come segue.

Considerando di adottare per il qam un impulso di Nyquist a banda minima, la banda occupata risulta pari a B_QAM = (f_b)/(log₂L), e pertanto mentre come riportato a pag. 1↓, per l’fsk ortogonale si ha B_FSK≃(f_b)/(2)(L)/(log₂L), e dunque Possiamo osservare come per le due tecniche di trasmissione l’andamento dei valori di (E_b)/(N₀) in funzione di (B)/(R) ricalchi abbastanza fedelmente quello ideale, a parte una perdita di efficienza, che si riduce per L crescente.