12.3  Codifica video↓

D’altra parte, i quadri relativi ad istanti temporali vicini sono spesso molto simili tra loro, anche se quanto siano simili, e per quanto tempo, dipende dal tipo di filmato. La presenza di memoria nella sorgente determina quindi la possibilità di ridurre il tasso informativo prodotto dalla codifica ricorrendo a tecniche predittive, tentando quindi di stimare il movimento presente in quadri contigui, e trasmettere solo l’informazione necessaria a compensare l’errore di predizione.

Figura 12.35 Due fotogrammi consecutivi, e la differenza tra i rispettivi valori di luminanza

Nella parte destra di fig. 12.35↑ è mostrata l’immagine differenza ΔY tra la componente di luminanza di due quadri consecutivi, consentendo di apprezzarne la relativa semplicità. Considerando poi che alcune regioni si sono mosse più di altre, il quadro da codificare è scomposto in sottoimmagini, per ognuna delle quali si ha un diverso spostamento, e viene calcolata una specifica differenza rispetto alla sotto-immagine precedente (e spostata); questa tecnica prende il nome di compensazione del movimento.

Figura 12.36 Esempi di sequenze di quadri con a) solo quadri di tipo I e P; b) quadri di tipo I, P e B

Figura 12.37 Codifica di un quadro P: a) struttura del macroblocco; b) procedura di codifica

Nella codifica dei quadri P, ogni macroblocco M_T del quadro corrente (target) è confrontato pixel per pixel con il corrispondente macroblocco M_R del quadro di riferimento, e nel caso sia riscontrata una sufficiente similitudine [539]  [539] Il confronto è svolto considerando i soli valori di luminanza, e la similitudine valutata come media tra i valori assoluti delle differenze di luminanza. complessiva, viene trasmesso solo l’indirizzo del blocco. Altrimenti, il confronto viene ripetuto per tutti i possibili spostamenti del macroblocco target nell’ambito dei macroblocchi contigui [540]  [540] l’effettiva estensione dell’area di ricerca non è oggetto di standardizzazione, mentre lo è la rappresentazione del risultato della ricerca., e qualora sia individuata una buona corrispondenza, il macroblocco viene codificato dal vettore di movimento V e dall’errore di predizione↓ M_D. Con riferimento alla fig. 12.37↑b in cui l’immagine è simboleggiata da un cerchio, V rappresenta lo spostamento da applicare a M_T per portarlo a coincidere al meglio con il quadro precedente, ed è codificato come una coppia (x,  y) corrispondente ad una risoluzione di un pixel. Al contrario M_D è composto dalle tre matrici (Y C_b C_r) dei valori differenza tra quelli di M_T spostato di V, ed M_R. I valori di V e di M_D relativi ai diversi macroblocchi di un quadro seguono poi due diversi percorsi di codifica, come specificato appresso.

Figura 12.38 Procedura di codifica dei quadri B

La fig. 12.39↑ riassume la sequenza di operazioni applicate alle tre tipologie di quadro I, P e B. Mentre nel primo caso queste seguono lo schema previsto dalla codifica jpeg, i quadri P meritano qualche commento: allo scopo di alimentare correttamente il componente di stima di movimento, il codificatore mantiene memoria del quadro di riferimento, all’inizio posto pari ad un quadro I, e quindi sostituito da una copia dell’ultimo quadro P, ottenuto risommando il quadro differenza al precedente quadro di riferimento. Lo stesso schema di calcolo è svolto nel caso di quadri B, tenendo ora conto anche del quadro successivo.

Figura 12.39 Stadi di elaborazione nella codifica di: a) quadri I; b) quadri P; c) quadri B

• se non vi è movimento, viene trasmessa solo la sua posizione;
• se vi è movimento e si trova un riferimento abbastanza simile, sono trasmessi il vettore di movimento e le matrici differenza;
• se non si è trovato un riferimento abbastanza simile, viene effettuata una codifica inter come per il caso dei quadri I.

Figura 12.40 Esempio di formato trama per i macroblocchi di un bitstream video

12.3.1  Standard video

12.3.1.1  H.261↓

Ogni macroblocco segue la tipica formattazione mostrata in fig. 12.41↑a; tre file di 11 macroblocchi sono poi raggruppati in una nuova struttura sintattica detta gob↓ (Group of (macro)Blocks), che si articola in un contenuto (fig. 12.41↑b) ed una intestazione (fig. 12.41↑c), in cui troviamo un codice di inizio scelto in modo da non poter essere presente nella sequenza di codici di Huffman che seguono, e che permette la risincronizzazione nel caso di gob mancanti (vedi appresso), in modo da poter tornare a riprodurre un quadro in corrispondenza del primo gob disponibile. L’intero quadro è quindi realizzato con il formato di fig. 12.41↑d), in cui compare un codice di inizio quadro, un riferimento temporale necessario alla sincronizzazione con la traccia audio, e l’indicazione del tipo di quadro (I o P); a cui segue la sequenza dei gob, in numero di 3 oppure 12 a seconda se il quadro rappresenti una immagine qcif o cif, in modo da permettere l’interoperabilità tra formati come mostrato in fig. 12.41↑e.

Figura 12.41 Formato codifica H.261: a) macroblocco; b) costruzione e c) formato di un GOB; d) trama di quadro; e) interoperabilità tra formati

Un approccio più articolato è quello mostrato dalla figura 12.42↑a, che ripercorre le tappe già discusse e relative al calcolo del vettore di movimento ed alla codifica degli errori di predizione, ma pone in evidenza il campo di intervento di un componente di controllo quantizzazione, che variando l’entità dei coefficienti di quantizzazione della dct, permette di ridurre e/o aumentare la velocità di codifica complessiva. In particolare, il controllo di quantizzazione opera in base allo stato di riempimento del buffer fifo↓ [544]  [544] First in First out, è la disciplina di coda del primo arrivato primo servito, opposta a lifo Last In First Out, realizzata come uno stack. mostrato in fig. 12.42↑b, alimentato dal risultato del processo di codifica e formattazione video, e da cui sono prelevati i dati da inviare a velocità costante. Nel caso in cui la velocità media di codifica ecceda quella disponibile, l’aumento della occupazione del buffer determina l’aumento del coefficiente di quantizzazione, e quindi una riduzione di qualità ma anche della velocità media di codifica; ovviamente, anche l’inverso è possibile, ossia un miglioramento di qualità mediante riduzione del coefficiente di quantizzazione, nel caso in cui la scena sia statica, e la codifica produca un basso bit rate che consente alla fifo di svuotarsi.

Figura 12.42 Principi della codifica H.261: a) schema del codificatore b) funzionamento del buffer fifo

12.3.1.2  H.263↓

Anche questo definito da itu-t a partire dal 1995, nasce per risolvere i problemi di bassa qualità dell’h.261 a velocità molto ridotte, come quelle offerte dai collegamenti modem dial-up precedenti all’introduzione dell’adsl, ovvero per migliorare la gestione delle possibili condizioni di errore sia sul canale dial-up che wireless. Le specifiche originarie si sono in seguito arricchite [545]  [545] Nel 1998 viene rilasciato l’H.263v2, noto anche come H.263+ o H.263 1998, e nel 2000 è emesso l’H.263v3 noto anche come H.263++ o H.263 2000; inoltre l’MPEG-4 Part 2 è compatibile con l’H.263, in quanto un bitstream H.263 di base viene correttamente riprodotto da un decodificatore MPEG-4. di estensioni, favorendo l’adozione del codec da parte di altre applicazioni (inclusi i filmati di youtube), ed aggiungendo il supporto oltre che ai formati nativi cif e qcif, anche a s-qcif, 4cif, 16cif, sif e 4sif.

Figura 12.43 Evoluzione temporale dei formati di codifica video

A partire dal 2003 si è formato un gruppo di lavoro congiunto tra itu-t vceg (Video Coding Expert Group) e iso/iec mpeg (Moving Pictures Experts Group), che segue la definizione del suo successore, l’h.264 detto anche avc (Advanced Video Coding) o MPEG-4 part 10, determinando l’arresto dello sviluppo di h.263, che resta comunque (assieme all’h.261) supportato da un gran numero di applicazioni multimediali. Sebbene la struttura generale del codificatore e del bitstream ricalchi quella vista per l’h.261, sono state introdotte alcune novità significative, che tentiamo di elencare appresso.

12.3.1.3  MPEG-1↓

• mpeg-1 adotta un formato sif di 352x288 pixel inteso per la memorizzazione audio-video a qualità vhs su cdrom, a velocità fino a 1.5 Mbps;
• mpeg-2 è orientato alla memorizzazione e trasmissione audio-video secondo quattro livelli di risoluzione, per ognuno dei quali diversi profili individuano tecniche alternative di codifica;
• mpeg-4 è stato inizialmente concepito per applicazioni simili a quelle dell’h.263, ma il suo uso si è successivamente esteso ad un’ampia gamma di applicazioni Internet.

Anche mpeg-1 adotta tecniche del tutto simili a quelle dell’h.261, con una scansione dell’immagine progressiva ed un sottocampionamento delle componenti di colore 4:1:1, una frequenza di quadro di 25 Hz, l’adozione di quadri di tipo I, P e B, la

Esempio di sequenza di quadri MPEG-1

rappresentazione dei quadri in termini di macroblocchi composti da 16x16 pixel di luminanza, più due blocchi 8x8 per ciascuna componente di colore. Le principali differenze sono che

• possono essere inseriti riferimenti temporali all’interno di un quadro, permettendo al decodificatore di sincronizzarsi più rapidamente. L’intervallo tra due marche temporali è chiamato slice e comprende una sequenza orizzontale di macroblocchi, tipicamente che copre una intera riga [547]  [547] ad es., 22 macroblocchi in risoluzione cif, o meno, ma non di più;
• l’uso dei quadri di tipo B aumenta la distanza temporale tra i quadri di tipo P ed il loro riferimento, e quindi determina una maggiore distanza coperta dalle porzioni di immagine in movimento, cosicché l’ampiezza della finestra di ricerca adottata dal componente di detezione di movimento è stata estesa.

La figura 12.45↓a illustra la struttura gerarchica del bitstream risultante, secondo il quale l’intero filmato (sequenza) è costituito da una successione di gop, ed ogni gop da una sequenza di quadri, ognuno costituito da una successione di slice che comprendono ognuno 22 macroblocchi, ognuno con 6 blocchi. La sezione b di fig. 12.45↓ entra più nel dettaglio del formato del bitstream.

Figura 12.45 Struttura del bitstream mpeg-1: a) composizione; b) formato gerarchico

12.3.1.4  MPEG-2↓

L’obiettivo è la diffusione televisiva dvb, con scansione interallacciata, risoluzione 720x576 a 25 quadri/secondo (pal), sottocampionamento 4:2:0 per una velocità risultante tra i 4 ed i 15 Mbps. La principale differenza rispetto all’mpeg-1 è legata alla modalità di scansione interallacciata, in modo che come mostrato in fig. 12.46↑, ogni quadro è costituito da due sottoquadri (o campi) con le righe rispettivamente dispari e pari, ponendo la questione: come comporre i blocchi da 8x8 pixel su cui eseguire la dct?

Figura 12.46 Effetto della scansione interallacciata in mpeg-2

Sono possibili due alternative:

• la modalità campo (fig. 12.47↓a) in cui i 16x16 pixel di un macroblocco sono ripartiti tenendo assieme prima le sole righe dispari del primo campo, e quindi le sole righe pari del secondo campo, oppure
• la modalità quadro (fig. 12.47↓b) in cui si usa la stessa suddivisione già vista per il caso non interallacciato, mescolando i due campi in ognuno dei blocchi.

Figura 12.47 Composizione dei blocchi dct per i quadri I di mpeg-2: a) modalità campo; b) modalità quadro

La scelta migliore su quale tra le due modalità adottare dipende dal tipo di scena che si sta rappresentando. Se è presente molto movimento, è meglio adottare la modalità campo: essendo infatti i pixel di uno stesso blocco collezionati in un tempo pari a metà dell’intervallo di quadro (mentre nella seconda metà si collezionano i pixel della seconda serie di blocchi), si ottiene un fotogramma meno mosso; viceversa in presenza di una scena con poco movimento, può essere adottata la modalità quadro.

Sono definiti tre standard, atv, dvb e muse, rispettivamente per il Nord America, l’Europa ed il Giappone, a cui si aggiunge la specifica hdtv di itu-r relativa a studi di produzione e scambio internazionale, e che definisce un rapporto di aspetto 16/9 con 1920 colonne per 1152 righe (di cui solo 1080 visibili), con scansione interallacciata e sottocampionamento 4:2:2. atv include le specifiche di itu-r, oltre che un formato ridotto, sempre con aspetto 16/9 ma risoluzione 1280x720, e che adotta la codifica video mpeg-2 mp@ml e quella audio ac-3. Il dvb è basato su di un rapporto di aspetto 4/3 con 1440x1152 pixel (di cui 1080 visibili), pari cioè al doppio [548]  [548] Si intende una risoluzione verticale ed orizzontale, mentre il rapporto tra le superfici è pari a 4 volte. della risoluzione pal di 720x576. La codifica video è mpeg-2 ssp@h1440 (Spatially Scaleable Profile at High 1440), simile all’mp@ml, mentre la codifica audio è mpeg audio layer 2.

Figura 12.48 Generazione di un contenuto multimediale mpeg-1: a) co-decodificatore; b) formato del bistream di uscita

12.3.2  Contenitori

Prima di effettuare la multiplazione, gli es sono suddivisi in pacchetti di dimensione variabile denominati Packetized es (pes↓) in cui trova posto un payload contenente [549]   [549] Per un approfondimento, vedi http://en.wikipedia.org/wiki/Packetized_elementary_stream il risultato della codifica (ad es. un intero quadro), preceduto da una intestazione contenente un codice univoco di inizio pes ed un codice che individua il tipo di payload del pacchetto (audio, video o dati). L’intestazione pes può inoltre contenere un riferimento temporale necessario alla sincronizzazione

audio-video, con risoluzione 33 bit, prodotto dal clock a 90 kHz descritto in fig. 12.48↑ come orologio di sistema, e ottenuto a partire da un oscillatore a 27 MHz come mostrato alla figura a lato.

12.3.2.1  Transport Stream↓

Nel caso di trasmissione dei contenuti mediante un sistema broadcast, tipicamente il singolo Program Stream ps (equivalente a quello prima indicato come Pack) viene ulteriormente multiplato assieme ad altri, in modo da realizzare un Transport Stream (ts), come mostrato in fig. 12.50↓. In particolare, la parte b) della figura mostra come i pes siano ora suddivisi in segmenti di lunghezza fissa e pari a 184 byte, intestati con 4 byte, producendo una struttura di trama con pacchetti di 188 byte [551]  [551] in realtà le intestazioni dei pacchetti del ts possono essere estese e contenere più di 4 byte: in questo caso, la dimensione del payload si riduce, in modo che il totale sia ancora 188.; l’ultimo pacchetto del ts che origina da uno stesso pes è riempito con uni fino a raggiungere i 188 byte. L’intestazione contiene, oltre ad un byte di inizio con pattern unico, un Packet IDentification code (pid) di 13 bit, che identifica il pes a cui appartiene il pacchetto, permettendo al decoder di recuperare il programma a cui è interessato.

Figura 12.50 Multiplazione di programmi: a) generazione dei PS e TS; b) formato del Transport Stream

Alcuni pid sono riservati, come il pid 8191 che indica assenza di payload [552]  [552] Un payload vuoto è in realtà comunque riempito di 184 bytes inutili, e viene inserito da parte del multiplatore che realizza il ts per mantenere una riserva di banda che consenta di assecondare le fluttuazioni di velocità dei tributari., ed il pid 0, che annuncia l’inserimento nel payload della Program Association Table (pat), la cui ricezione permette al decoder di conoscere quali pid sono utilizzati per individuare i diversi pes (audio, video) di uno stesso programma [553]  [553] Altri pid riservati sono l’uno, che annuncia la presenza di una Conditional Access Table (cat) contenente i parametri crittografici per visualizzare contenuti a pagamento, ed il pid 18, che annuncia la presenza della Network Information Table (nit), che descrive altri ts disponibili. Per approfondimenti, vedi http://en.wikipedia.org/wiki/Program-specific_information.. Questo avviene per mezzo delle Program Map Table (pmt) rappresentate in fig. 12.51↓: ogni riga della pat individua infatti un nuovo pid, alla ricezione del quale, viene estratta dal payload la pmt che descrive i pid dei flussi che compongono il programma. Pertanto, quando uno spettatore seleziona un programma, il decodificatore cerca nella pat il pid della pmt associata, e quindi inizia a prelevare i pacchetti intestati con ognuno dei pid trovati nella pmt, per ricostruire i relativi pes, sincronizzarli, ed iniziare la riproduzione.

Figura 12.51 Estrazione della pat e delle pmt dal Transport Stream