Un capitolo così ad ampio respiro non può che ospitare una serie di appendici altrettanto variate!

Riprendiamo il modello accennato a pag. 1 per approfondire il metodo di predizione del valore atteso di una v.a. y a partire dalla conoscenza di una una seconda v.a. x (il regressore) correlata alla prima, in base alla relazione in cui ε rappresenta un errore additivo anch’esso aleatorio, a media nulla e statisticamente indipendente sia da x che da y. Per determinare il valore dei parametri del modello a e b, si imposta un problema di minimizzazione a carico della varianza dell’errore σ²_ε = E{(y − ax − b)²} risolvibile eguagliando a zero le derivate di σ²_ε rispetto ad a e b. ovvero Dalla seconda delle (10.178) otteniamo b = m_y − am_x che sostituito nella prima dopo pochi passaggi permette di ottenere a [m⁽²⁾_x − (m_x)²] = m_xy − m_xm_y. Sostituendo ora [m⁽²⁾_x − (m_x)²] con σ²_x (vedi eq. (10.119)), e m_xy − m_xm_y con σ_xy (eq. (10.152)), si ottiene per a l’espressione riportata sotto, che a sua volta sostituita nella seconda delle (10.178) produce che sono i valori da utilizzare nella retta di regressione y = ax + b esemplificata nella figura a lato assieme ad una nuvola (o meglio set) di coppie (x_i,y_i) di misurazioni sperimentali, che vengono utilizzate per effettuare una stima campionaria (vedi § 6.6.3.1) delle correlazioni che compaiono in (10.179).

Costituisce una versione vettoriale del precedente problema esteso al caso in cui i regressori siano più di uno, ovvero qualora al posto della (10.177) si supponga una relazione del tipo in modo che per p = 2 la retta di regressione divenga un piano con β₀ pari all’intercetta sull’asse delle quote y quando i regressori x sono nulli, mentre per p > 2 si ha un iperpiano. L’individuazione dei coefficienti β = (β₀, β₁, ⋯, β_p) (detti ora predittori) viene nuovamente affidato al criterio di minimizzare il valore quadratico atteso della grandezza di errore, ovvero cercando in cui avendo aggiunto un regressore fittizio x₀ = 1, ovvero adottato un vettore aumentato di regressori x = (1, x₁, x₂, ⋯, x_p).

Prima di continuare formalizziamo la notazione con cui descrivere i dati da utilizzare nella stima delle correlazioni R_x e R_yx. Pensiamo cioè di collezionare N coppie (y_i, x_i) con N ≫ p, in cui y_i è la variabile di osservazione ed x_i è il vettore (1, x_i1, x_i2, ⋯, x_ip) dei regressori osservati congiuntamente, e di allineare i vettori x_i in altrettante righe di una matrice X di formato N × (p + 1), in modo da poter scrivere la (10.180) (priva del termine di errore ε) nella forma di un sistema

(10.184)
y = X ⋅ β  ⇒  ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ y₁   y₂   ⋮   ⋮   y_N ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦  =  ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ x₁₀   x₁₁   x₁₂   ⋯   x_1p           x₂₀ x₂₁ x₂₂ ⋯ x_2p           ⋮ ⋮ ⋮ ⋮ ⋮           ⋮ ⋮ ⋮ ⋱ ⋮           x_N0 x_N1 x_N2 ⋯ x_Np ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ β₀   β₁   ⋮   β_p ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦

di N equazioni nelle p + 1 incognite β₀, β₁, ⋯, β_p. Con questa notazione, le stime R̂_x e R̂_yx degli elementi che compaiono nella (10.183) possono essere espresse come

(10.185) m̂^(1, 1)_xhxk = r̂_hk ≃ 1N ^N⎲⎳_i = 1x_ihx_ik     e     m̂^(1, 1)_yxh = r̂_yxh ≃ 1N ^N⎲⎳_i = 1y_ix_ih

In modo da ottenere un valore per β^* ottimo pari a

(10.186) β^* = R̂^− 1_x ⋅ R̂_yx

Affronta la stima dei predittori β adottando il criterio di minimizzare la norma quadratica ∥ε∥² = ∥ y − X ⋅ β∥² della differenza tra i due membri di (10.184), ovvero tra il vettore delle osservazioni y e quello delle relative predizioni sulla base dei regressori. In questo caso scriviamo pertanto Questa espressione si presta ad una interessante interpretazione geometrica, che consente di arrivare in modo agevole allo stesso risultato già trovato (10.186).

Indicando con ŷ = X ⋅ β^* il vettore ottenuto applicando il risultato (10.187) alla relazione (10.184), osserviamo che ŷ è vincolato a giacere nell’iper-piano X generato dalle (sole) (p + 1) colonne ξ_h di X, combinate linearmente dai predittori β^*, potendo scrivere

mentre y può variare in uno spazio di dimensione N ≫ p. Dunque scrivere

significa che il vettore di errore ε spiega ciò che non può essere descritto da una combinazione lineare delle colonne ξ_h, ovvero ha proiezione nulla in X, ossia giace in uno spazio ortogonale ad X in cui è costretto a stare ŷ. Come conseguenza si ottiene che ε è ortogonale a tutte le colonne ξ_h ovvero possiamo scrivere X^⊤ ⋅ ε = 0, il che ci viene comodo perché se premoltiplichiamo ambo i membri di

per X^⊤ si ottiene X^⊤y = X^⊤X ⋅ β^* + X^⊤ε = X^⊤X ⋅ β^* e dunque in cui X⁺ = (X^⊤X)^− 1 X^⊤ prende il nome di pseudoinversa in quanto pur non essendo X quadrata e dunque invertibile, oltre ad essere il sistema (10.184) sovradeterminato avendo più equazioni che incognite, permette di giungere comunque ad una soluzione a minima distanza [409]   [409] Per approfondimenti vedere
https://it.wikipedia.org/wiki/Regressione_lineare#Regressione_lineare_multipla (10.187).

Mostriamo ora che il valore di β^* ottenuto con la (10.188) in base al criterio (10.187) è esattamente lo stesso di quello ottenuto dalla (10.186) con il criterio (10.181). A tal fine notiamo che le (10.186) e (10.188) sono equivalenti tra loro, in quanto l’applicazione delle regole del prodotto tra matrici porta alle stesse espressioni (10.185), a meno di un fattore N che poi si elide, potendo dunque scrivere come anche illustrato alla figura seguente.

I diagrammi di esempio presentati alla fig. 7.3 basano la valutazione di quanto una coppia di v.a. x ed y siano correlate anche sul calcolo del coefficiente di correlazione [410]   [410] Vedi ad es. https://it.wikipedia.org/wiki/Indice_di_correlazione_di_Pearson ρ_xy, che ha valori compresi tra  + 1 e  − 1, ed è definito come In tal modo, si opera una normalizzazione del valore della covarianza σ_xy, rispetto alle deviazioni standard σ_x e σ_y delle due v.a., rendendo così il valore di ρ indipendente dalla dinamica dei valori assunti da x ed y.

Sviluppiamo qui la dimostrazione [412]   [412] Tratta da D. Leon, W. Couch, Fondamenti di telecomunicazioni, 2004 Apogeo che P_x(f) = F {R_x(τ)} anche se x(t) rappresenta un generico membro di un processo, nelle condizioni espresse alla nota 365. Considerando un segmento x_T(t) = x(t)rect_T(t) di durata T estratto da un membro del processo, iniziamo dalla definizione (§ 7.3.1) P_x(f) = lim_{T → ∞} 1T E{|X_T(f)|²} in cui X_T(f) = F {x_T(t)}, e dunque dove riconosciamo E{x^*(t₁)x(t₂)} essere pari al momento misto (10.150), che indichiamo per uniformità come R_x(t₁, t₂) ovvero come R_x(t, t + τ) dopo aver posto l’istante t₁ pari ad un generico valore t, ed aver espresso t₂ come t₂ = t + τ. Con la nuova notazione, l’espressione (10.189) diviene [413]   [413] Per quanto riguarda i nuovi estremi di integrazione, osserviamo che se τ = t₂ − t, allora per t₂ = ±^T⁄₂, τ vale ± ^T⁄₂ − t. Inoltre, la somma degli esponenti risulta pari a  − j2πf(t₂ − t) = − j2πfτ.

Considerando ora il processo stazionario, scriviamo R_x(t, t + τ) = R_x(τ), che portiamo fuori dall’integrale su t: dato che per τ < 0 risulta τ = − |τ|. Sostituiamo l’ultimo risultato nell’espressione P_x(f) = lim_{T → ∞} 1TE{|X_T(f)|²}, ottenendo in cui il secondo termine si annulla se ∫^∞_−∞|τR_x(τ)|dτ < ∞, e ciò dimostra il teorema discusso al § 7.2.1.

L’acronimo pam sta per Pulse Amplitude Modulation (pag. 1), e individua una classe di segnali realizzati ripetendo indefinitivamente uno stesso impulso elementare g(t) con periodo T, ognuno moltiplicato (o modulato in ampiezza) per un diverso coefficiente a_n. Sebbene in questa definizione possa rientrare anche il caso in cui gli a_n siano campioni di un segnale analogico (§ 4.1), focalizziamo la trattazione al caso in cui rappresentino invece i simboli di una trasmissione numerica con periodo di simbolo T, a valori reali nel caso di banda base (§ 15.1.2), o complessi nel caso di una modulazione numerica [414]   [414] In tal caso i valori degli a_n corrispondono ai punti di una costellazione nel piano dell’inviluppo complesso, vedi cap. 16., mentre g(t) rappresenta un impulso dati, del tipo a banda infinita (§ 15.2.1) oppure di Nyquist (§ 15.2.2.2).

Essendo x(t) membro di un processo ergodico, il valor medio di una sua realizzazione può essere calcolato come valore atteso rispetto alle fonti di aleatorietà, ossia i simboli a_n ed il ritardo θ avendo assunto l’indipendenza statistica tra A e Θ. Ponendo E_A{a_n} = m_A, sviluppando il valore atteso di g(.), e ricordando che p_Θ(θ) = 1 T rect_T(θ), otteniamo avendo posto al terzo passaggio [416]   [416] Risultando dθ = − du, gli estremi di integrazione si invertono; quando poi θ = ^T⁄₂ si ha u = t − nT − ^T⁄₂, mentre a θ = − ^T⁄₂ corrisponde u = t − nT + ^T⁄₂. u = t − nT − θ, ad avendo notato al penultimo che gli estremi di integrazione entro la sommatoria sono contigui ed abbracciano tutto il dominio di integrazione. Una prima osservazione che traiamo è che anche se la sequenza degli a_n non fosse a media nulla, è possibile ottenere m_X = 0 adottando una g(t) ad area nulla, come ad esempio per un codice Manchester o differenziale (pag. 1), o per le forme d’onda adottate nell’fsk ortogonale incoerente (§ 16.12.1).

In accordo al teorema di Wiener (§ 7.2.1), procediamo con il calcolo del momento misto R_X(τ) = E{x(t)x(t + τ)} e quindi ne effettuiamo la trasformata di Fourier. Anche qui l’indipendenza statistica tra Θ ed A permette di scrivere in cui al secondo passaggio si è sfruttata la stazionarietà della sequenza a_n per cui E{a_na_m} = R_A(m − n), al terzo si è posto k = m − n, al quarto si è posto u = t − nT − θ, al penultimo si sono riuniti gli infiniti integrali su domini contigui in uno solo, ed all’ultimo si è riconosciuto l’integrale come quello che definisce l’autocorrelazione (traslata) di g(t), indicata come R_G(τ − kT). La trasformata di Fourier del risultato finale produce in cui |G(f)|² = F {R_G(τ)} è lo spettro di densità di energia dell’impulso g(t), ed il termine e^−j2πfkT consegue dalla traslazione temporale di R_G(τ). L’espressione rappresenta la dtft (§ 4.4) di R_A(k) e prende il nome di spettro del codice, mostrando come le caratteristiche statistiche degli a_n contribuiscano a determinare la densità spettrale per il segnale dati associato.

Iniziamo a semplificare il risultato (10.192) considerando il caso in cui i simboli a_n siano statisticamente indipendenti, ma a media non nulla. In questo caso si ottiene [417]   [417] Se la sequenza a_n è stazionaria ed a simboli indipendenti, per k ≠ 0 si ottiene

R_A(k) = E{a_na_n + k} = E{a_n}E{a_n + k} = m²_A

mentre per k = 0 si ha

R_A(0) = E{(a_n)²} = m⁽²⁾_A = m²_A + σ²_A

come mostrato dalla (10.119) a pag. 1.

e quindi la (10.193) diviene avendo sfruttato il risultato (10.61) a pag. 1 relativo alla trasformata di un treno di impulsi [418]   [418] Infatti, applicando la proprietà di traslazione nel tempo scriviamo

F {π_T(t)} = F {∑_kδ(t − kT)} = ∑_ke^−j2πfkT

ma in base alla (10.61) di pag. 1 risulta

F {π_T(t)} = 1T ∑_k δ⎛⎝f − k T⎞⎠, e dunque ∑_ke^−j2πfkT = 1 T ∑_k δ⎛⎝f − k T⎞⎠

. Sostituendo ora la (10.194) nella (10.193) e quindi in (10.192), per quest’ultima si ottiene che evidenzia la presenza nello spettro di una componente continua, assieme ad una componente a righe sulle frequenze armoniche di quella di simbolo f_s = 1T, descritta agli impulsi di area m²_A T² |G(f)|²; scegliendo dunque un impulso dati tale che G(f) si annulli per f = k T, tali righe possono essere eliminate. E’ per questo motivo che (ad es.) la segnalazione di tipo rz (vedi § 15.2.1) presenta la componente ad f = f_s, vedi l’esercizio seguente.

Nel caso in cui la sequenza a_n oltre ad essere incorrelata presenti anche un valor medio nullo, ovvero m_A = 0, la (10.195) si semplifica ulteriormente e fornisce il risultato semplice già noto:

Al § 204 si è affermato che, quando un processo stazionario almeno in senso lato attraversa un filtro, il processo di uscita è caratterizzato da una autocorrelazione R_y(τ) = R_x(τ) * R_h(τ). Mostriamo che è vero. dato che ∫h(β)R_x(τ + α − β)dβ che compare nella (10.196) è pari alla convoluzione tra h(t) e R_x(t) calcolata per t = τ + α, ovvero che (vedi l’eq. (10.157) a pag. 1) a sua volta può essere espressa come dove all’ultimo passaggio si è applicata la definizione della intercorrelazione (10.156), oltre che la (10.157), ottenendo così la (10.196).

Di seguito sono riportati i grafici della forma d’onda, dell’autocorrelazione, della densità spettrale e della densità di probabilità, per alcuni segnali tipici.