【摘要】:本文介紹了有關(guān)數(shù)字電視信源編碼的一些主要技術(shù)和標(biāo)準(zhǔn),包括數(shù)字演播室標(biāo)準(zhǔn)ITU--601,壓縮編碼的基本原理和方法,圖像壓縮編碼標(biāo)準(zhǔn)H261,JPEG和MPEG,以及作為數(shù)字電視信源編碼標(biāo)準(zhǔn)輸出的MPEG--2碼流的形成。

　　準(zhǔn)數(shù)字電視和數(shù)字高清晰度電視在內(nèi)的數(shù)字電視體系的開發(fā)研究正加緊進(jìn)行。美國已完成稱為GA的數(shù)字高清晰度電視的標(biāo)準(zhǔn)制定及其進(jìn)入實(shí)用的時間表，歐洲則在開發(fā)獨(dú)立的數(shù)字電視方案，并制定了數(shù)字電視廣播DVB的標(biāo)準(zhǔn)。這一切都是以數(shù)字電視信源編碼的一系列技術(shù)與標(biāo)準(zhǔn)的成熟為基礎(chǔ)的。信源編碼作為數(shù)字電視系統(tǒng)的核心構(gòu)成部分，直接決定了數(shù)字電視的基本格式及其信號編碼效率，決定了數(shù)字電視最終如何在實(shí)際的系統(tǒng)中實(shí)現(xiàn)。 

　　一.數(shù)字電視的信源編碼

　　一個完整的數(shù)字電視系統(tǒng)包括數(shù)字電視信號的產(chǎn)生、處理、傳輸、接收和重現(xiàn)等諸多環(huán)節(jié)。數(shù)字電視信號在進(jìn)入傳輸通道前的處理過程一般如圖1所示： 



　　電視信號在獲取后經(jīng)過的第一個處理環(huán)節(jié)就是信源編碼。信源編碼是通過壓縮編碼來去掉信號源中的冗余成分，以達(dá)到壓縮碼率和帶寬，實(shí)現(xiàn)信號有效傳輸?shù)哪康?。信道編碼是通過按一定規(guī)則重新排列信號碼元或加入輔助碼的辦法來防止碼元在傳輸過程中出錯，并進(jìn)行檢錯和糾錯，以保證信號的可靠傳輸。信道編碼后的基帶信號經(jīng)過調(diào)制，可送入各類通道中進(jìn)行傳輸。目前數(shù)字電視可能的傳輸通道包括衛(wèi)星，地面無線傳輸和有線傳輸?shù)取?

　　信源編碼的目的是通過在編碼過程中對原始信號冗余度的去除來壓縮碼率，因此壓縮編碼的技術(shù)與標(biāo)準(zhǔn)成為信源編碼的核心。九十年代以來，各種壓縮編碼的國際標(biāo)準(zhǔn)相繼推出，其中MPEG－2是專為數(shù)字電視《包括標(biāo)準(zhǔn)數(shù)字電視和數(shù)字高清晰度電視》制定的壓縮編碼標(biāo)準(zhǔn)。MPEG－2壓縮編碼輸出的碼流作為數(shù)字電視信源編碼的標(biāo)準(zhǔn)輸出碼流已被廣泛認(rèn)可。目前數(shù)字電視系統(tǒng)中信源編碼以外的其他部分，包括信道編碼，調(diào)制器，解調(diào)器等，大都以MPEG－2碼流作為與之適配的標(biāo)準(zhǔn)數(shù)字信號碼流。

　　信源編碼的第一步首先要對模擬電視信號進(jìn)行取樣和模數(shù)變換，相應(yīng)的需要一個統(tǒng)一的標(biāo)準(zhǔn)。數(shù)字演播室標(biāo)準(zhǔn)ITU－R601正是為此制定的國際標(biāo)準(zhǔn)。

　　二.數(shù)字演播室標(biāo)準(zhǔn)ITU－R601

　　早在七十年代末，英國廣播公司和索尼公司就分別展示了其各自開發(fā)的彩色數(shù)字錄像機(jī)，成為最早的數(shù)字電視編錄產(chǎn)品，由此促成了電視信號模數(shù)轉(zhuǎn)換規(guī)范的產(chǎn)生。1980年，國際無線電咨詢委員會CCIR提出了電視信號模數(shù)轉(zhuǎn)換標(biāo)準(zhǔn)的建議，即稱為數(shù)字演播室標(biāo)準(zhǔn)的CCIR601。后來CCIR成為國際電信聯(lián)盟的無線電委員會，稱為ITU－R，相應(yīng)的CCIR－601也改稱ITU－R601，成為模擬電視向數(shù)字電視轉(zhuǎn)變過程中的第一個標(biāo)準(zhǔn)規(guī)范，其分量編碼標(biāo)準(zhǔn)如表1所示。

　　表 1 ITU－R601數(shù)字演播室分量編碼標(biāo)準(zhǔn)《4：2：2》

參數(shù) 電視制式 PAL NTSC

每行取樣數(shù) 亮度信號 每個色差信號 

864 858 432 429 

取樣結(jié)構(gòu) 正交取樣，色差信號與亮度信號的奇次樣值同位

取樣頻率 亮度信號 每個色差信號 

13.5兆赫 6.75兆赫 

編碼方式 亮度和色差信號均采用線性PCM，8比特量化 

每數(shù)字有效行取樣數(shù) 亮度信號 每個色差信號 720 360

量化級數(shù) 亮度信號 每個色差信號

220 224 

　　參數(shù)說明：

　　1.取樣頻率：根據(jù)奈奎斯特定理，取樣頻率應(yīng)至少不低于信號最高頻率的2倍。其次，為便于進(jìn)行信源編碼，取樣結(jié)構(gòu)最好為正交結(jié)構(gòu)，即每個取樣點(diǎn)應(yīng)與其相鄰行和相鄰幀對齊。為此取樣頻率必須為行頻的整數(shù)倍。要同時滿足PAL與NTSC的正交取樣，取樣頻率應(yīng)為兩者行頻的公倍數(shù)。同時，取樣頻率的選取還必須兼顧碼率和帶寬。綜合考慮上述因素，亮度信號的取樣頻率定為13.5兆赫。在4：2：2格式中，每個色差信號取樣數(shù)為亮度信號的一半，取樣頻率定為6.75兆赫； 

　　2.每行取樣數(shù)：由取樣頻率除以行頻得到每行取樣數(shù)。為提高編碼效率，去掉行場逆程的取樣，得到降低了的每數(shù)字有效行取樣數(shù)；

　　3.編碼方式：采用簡單的線性PCM編碼。量化比特數(shù)為8比特，這是一個由實(shí)驗(yàn)決定的結(jié)果。具體實(shí)驗(yàn)顯示，8比特量化產(chǎn)生的256級量化級，已完全能滿足人眼對亮度與色度層次分辨的需要。

　　ITU－R601主要是一種取樣標(biāo)準(zhǔn)。模擬電視信號據(jù)此取樣后進(jìn)行8比特量化和線性PCM編碼，即可得到符合數(shù)字演播室標(biāo)準(zhǔn)的基帶數(shù)字信號。但是，由此得到的數(shù)字電視信號具有非常高的碼率和帶寬，難以進(jìn)入實(shí)用。雖然ITU－R601建議早在1980年已經(jīng)制定，但直到九十年代一系列有效的圖像數(shù)碼壓縮技術(shù)及相應(yīng)的國際標(biāo)準(zhǔn)出現(xiàn)以后，數(shù)字電視才得到了迅速的發(fā)展。

　　圖像數(shù)據(jù)的壓縮主要基于對各種圖像數(shù)據(jù)冗余度及視覺冗余度的壓縮，包括如下一些方法： 

　　1.統(tǒng)計冗余度的壓縮：對于一串由許多數(shù)值構(gòu)成的數(shù)據(jù)來說，如果其中某些值經(jīng)常出現(xiàn)，而另外一些值很少出現(xiàn)，則這種由取值上的統(tǒng)計不均勻性就構(gòu)成了統(tǒng)計冗余度，可以對之進(jìn)行壓縮。具體方法是對那些經(jīng)常出現(xiàn)的值用短的碼組來表示，對不經(jīng)常出現(xiàn)的值用長的碼組來表示，因而最終用于表示這一串?dāng)?shù)據(jù)的總的碼位，相對于用定長碼組來表示的碼位而言得到了降低，這就是熵編碼的思想。目前用于圖像壓縮的具體的熵編碼方法主要是霍夫曼編碼，即一個數(shù)值的編碼長度與此數(shù)值出現(xiàn)的概率盡可能地成反比。 霍夫曼編碼雖然壓縮比不高，約為1.6：1，但好處是無損壓縮，目前在圖像壓縮編碼中被廣泛采用。

　　視頻圖像在每一點(diǎn)的取值上具有任意性。對于運(yùn)動圖像而言，每一點(diǎn)在一段時間內(nèi)能取可能的任意值，在取值上具有統(tǒng)計均勻性，難以直接運(yùn)用熵編碼的方法，但可以通過適當(dāng)?shù)淖儞Q編碼的方法，如DCT變換，使原圖像變成由一串統(tǒng)計不均勻的數(shù)據(jù)來表示，從而利用霍夫曼編碼來進(jìn)行壓縮。

　　2.空間冗余度的壓縮：一幅視頻圖像相鄰各點(diǎn)的取值往往相近或相同，具有空間相關(guān)性，這就是空間冗余度。圖像的空間相關(guān)性表示相鄰象素點(diǎn)取值變化緩慢。從頻域的觀點(diǎn)看，意味著圖像信號的能量主要集中在低頻附近，高頻信號的能量隨頻率的增加而迅速衰減。通過頻域變換，可以將原圖像信號用直流分量及少數(shù)低頻交流分量的系數(shù)來表示，這就是變換編碼中的正交余弦變換DCT的方法。DCT是JPEG和MPEG壓縮編碼的基礎(chǔ)，可對圖像的空間冗余度進(jìn)行有效的壓縮。

　　視頻圖像中經(jīng)常出現(xiàn)一連串連續(xù)的象素點(diǎn)具有相同值的情況，典型的如彩條，彩場信號等。只傳送起始象素點(diǎn)的值及隨后取相同值的象素點(diǎn)的個數(shù)，也能有效地壓縮碼率，這就是行游程編碼。目前在圖像壓縮編碼中，行游程編碼并不直接對圖像數(shù)據(jù)進(jìn)行編碼，主要用于對量化后的DCT系數(shù)進(jìn)行編碼。

　　3.時間冗余度的壓縮：時間冗余度表現(xiàn)在電視畫面中相繼各幀對應(yīng)象素點(diǎn)的值往往相近或相同，具有時間相關(guān)性。在知道了一個象素點(diǎn)的值后，利用此象素點(diǎn)的值及其與后一象素點(diǎn)的值的差值就可求出后一象素點(diǎn)的值。因此，不傳送象素點(diǎn)本身的值而傳送其與前一幀對應(yīng)象素點(diǎn)的差值，也能有效地壓縮碼率，這就是差分編碼DPCM。在實(shí)際的壓縮編碼中，DPCM主要用于各圖像子塊在DCT變換后的直流系數(shù)的傳送。相對于交流系數(shù)而言，DCT直流系數(shù)的值很大，而相繼各幀對應(yīng)子塊的DCT直流系數(shù)的值一般比較接近，在圖像未發(fā)生跳變的情況下，其差值同直流系數(shù)本身的值相比是很小的。

　　由差分編碼進(jìn)一步發(fā)展起來的預(yù)測編碼，是根據(jù)一定的規(guī)則先預(yù)測出下一個象素點(diǎn)或圖像子塊的值，然后將此預(yù)測值與實(shí)際值的差值傳送給接收端。目前圖像壓縮中的預(yù)測編碼主要用于幀間壓縮編碼，方法是先根據(jù)一個子塊的運(yùn)動矢量求出下一幀對應(yīng)子塊的預(yù)測值及其與實(shí)際值的差值，接收端根據(jù)運(yùn)動矢量及差值恢復(fù)出原圖像。由于運(yùn)動矢量及差值的數(shù)據(jù)量低于原圖像的數(shù)據(jù)量，因而也能達(dá)到圖像數(shù)據(jù)壓縮的目的。

　　4.視覺冗余度的壓縮：視覺冗余度是相對于人眼的視覺特性而言的。人眼對于圖像的視覺特性包括：對亮度信號比對色度信號敏感，對低頻信號比對高頻信號敏感，對靜止圖像比對運(yùn)動圖像敏感，以及對圖像水平線條和垂直線條比對斜線敏感等。因此，包含在色度信號，圖像高頻信號和運(yùn)動圖像中的一些數(shù)據(jù)并不能對增加圖像相對于人眼的清晰度作出貢獻(xiàn)，而被認(rèn)為是多余的，這就是視覺冗余度。

　　壓縮視覺冗余度的核心思想是去掉那些相對人眼而言是看不到的或可有可無的圖像數(shù)據(jù)。對視覺冗余度的壓縮通常已反映在各種具體的壓縮編碼過程中。如對于DCT系數(shù)的直流與低頻部分采取細(xì)量化，而對高頻部分采取粗量化，使得DCT變換能借此壓縮碼率，并能有效地進(jìn)行行游程編碼。在幀間預(yù)測編碼中，大碼率壓縮的預(yù)測幀及雙向預(yù)測幀的采用，也是利用了人眼對運(yùn)動圖像細(xì)節(jié)不敏感的特性。

　　圖像壓縮編碼的具體方法雖然還有多種，但大都是建立在上述基本思想之上的。DCT變換，行游程編碼，DPCM，幀間預(yù)測編碼及霍夫曼編碼等編碼方法，因技術(shù)上的成熟，已被有關(guān)國際組織定為壓縮編碼的主要方法。

　　四.圖像壓縮的主要技術(shù)與標(biāo)準(zhǔn)

　　目前有關(guān)圖像壓縮方面的主要標(biāo)準(zhǔn)包括CCITT的H.261,JPEG和MPEG。是分別針對電視電話圖像，靜止圖像和活動圖像的壓縮編碼標(biāo)準(zhǔn)。這幾種壓縮標(biāo)準(zhǔn)雖然各自針對性不同，但壓縮編碼方法大體相似。

　　1.H261

　　圖像壓縮編碼標(biāo)準(zhǔn)的提出最早源于通訊中對可視電話的研究。經(jīng)過多年努力，至1980年，國際電報電話咨詢委員會CCITT所屬的視頻編碼專家組的H.261建議被通過，成為可視電話和電話會議的國際標(biāo)準(zhǔn)。H.261又稱Px64，傳輸碼率為Px64kbps，其中P＝1－30可變，根據(jù)圖像傳輸清晰度的不同，碼率變化范圍在64kbps至1.92Mbps之間，編碼方法包括DCT變換，可控步長線性量化，變長編碼及預(yù)測編碼等。其簡化的編碼原理框圖如圖2所示。



　　圖中，DCT變換的輸入輸出選擇開關(guān)由幀內(nèi)/幀間模式選擇電路控制。在幀內(nèi)模式時，開關(guān)打到上面，輸入信號經(jīng)DCT變換，線性量化和變長編碼后輸出，圖像只進(jìn)行幀內(nèi)壓縮。在幀間模式時，開關(guān)打到下面，前一幀圖像信號經(jīng)過預(yù)測環(huán)中的運(yùn)動補(bǔ)償后產(chǎn)生一個后幀的預(yù)測信號。后幀的實(shí)際輸入信號與其預(yù)測值相減后，在進(jìn)行一個幀內(nèi)壓縮編碼的過程后輸出。 

　　圖中變長編碼器產(chǎn)生的控制信號送量化器以控制其量化步長。當(dāng)變長編碼器的輸入中連續(xù)出現(xiàn)許多大數(shù)值的數(shù)據(jù)，導(dǎo)致集中出現(xiàn)長的碼組，使緩存器接近溢出時，控制信號使量化器的量化步長加大，以降低大數(shù)值數(shù)據(jù)的出現(xiàn)；反之，也可控制量化器以減小其量化步長。在預(yù)測環(huán)路中由于存在用于恢復(fù)前幀信號的反量化器，量化步長控制信號也要送到預(yù)測環(huán)中的反量化器中。

　　H.261所針對的可視電話信號最初考慮是在一般電話網(wǎng)中傳輸?shù)?，帶寬和碼率是其考慮的核心問題。其每幀取樣點(diǎn)數(shù)比ITU－R601所規(guī)定的低許多，且采取抽幀傳輸?shù)姆椒?，無法滿足數(shù)字電視壓縮編碼的要求，但H.261是此前壓縮編碼數(shù)十年研究的結(jié)果，成為以后JPEG和MPEG編碼方法的重要基礎(chǔ)。

　　2.JPEG

　　1986年，國際標(biāo)準(zhǔn)化組織ISO和國際電報電話咨詢委員會CCITT共同成立了聯(lián)合圖像專家組《Joint Photographic Experts Group》，對靜止圖像壓縮編碼的標(biāo)準(zhǔn)進(jìn)行了研究，JPEG小組于1988年提出建議書，1992年成為靜止圖像壓縮編碼的國際標(biāo)準(zhǔn)。JPEG是一個達(dá)到數(shù)字演播室標(biāo)準(zhǔn)的圖像壓縮編碼標(biāo)準(zhǔn)，其亮度信號與色度信號均按照ITU－R601的規(guī)定取樣后劃分為8x8子塊進(jìn)行編碼處理。

　　JPEG是一種不含幀間壓縮的幀內(nèi)壓縮編碼方法，其主要編碼過程與H.261的幀內(nèi)編碼過程大致相同。輸入信號經(jīng)DCT變換后，按固定的亮度與色度量化矩陣進(jìn)行非線性量化。對量化后的DCT直流系數(shù)進(jìn)行差分編碼，交流系數(shù)進(jìn)行行游程編碼，再按霍夫曼碼表進(jìn)行變長編碼后，送緩存器輸出 。

　　JPEG不含幀間壓縮，壓縮比較幀內(nèi)/幀間壓縮低。但因?yàn)椴缓瑤g壓縮，使得各幀在壓縮編碼后是各自獨(dú)立的，這一點(diǎn)對于編輯來說是有利的，可以做到精確到逐幀的編輯。所以對于活動畫面只進(jìn)行幀內(nèi)壓縮的Motion-JPEG，目前仍然在一些數(shù)字電視編錄設(shè)備，如非線性編輯系統(tǒng)中得到應(yīng)用。

　　3.MPEG

　　1988年，國際標(biāo)準(zhǔn)化組織ISO和國際電工委員會IEC共同組建了運(yùn)動圖像專家組《Moving Picture Experts Group》，對運(yùn)動圖像的壓縮編碼標(biāo)準(zhǔn)進(jìn)行了研究。1992年和1994年分別通過了MPEG－1和MPEG－2壓縮編碼標(biāo)準(zhǔn)。

　　MPEG－1主要是針對運(yùn)動圖像和聲音在數(shù)字存儲時的壓縮編碼，典型應(yīng)用如VCD等家用數(shù)字音像產(chǎn)品，其編碼最高碼率為1.5Mbps。MPEG－2則針對數(shù)字電視的視音頻壓縮編碼，對數(shù)字電視各種等級的壓縮編碼方案及圖像編碼中劃分的層次作了詳細(xì)的規(guī)定，其編碼碼率可從3Mbps到100Mbps。

　　MPEG的基本編碼過程與H.261相似，即通過DCT進(jìn)行幀間壓縮。除了在編碼語法上加進(jìn)了一些特別規(guī)定外，與H.261的一個重要不同是MPEG在預(yù)測編碼中加進(jìn)了一個雙向預(yù)測幀B幀，如圖3所示。



　　圖中，I幀只進(jìn)行幀內(nèi)壓縮，是作為預(yù)測基準(zhǔn)的獨(dú)立幀，具有較小的壓縮比。由I幀前向預(yù)測產(chǎn)生的P幀具有中等壓縮比，并與I幀一起成為B幀的預(yù)測基準(zhǔn)。由此產(chǎn)生的B幀則具有最高的壓縮比。I幀出現(xiàn)的頻率及I，B，P幀之間如何組合，MPEG未作具體規(guī)定，可由編碼器自行選擇。如索尼的數(shù)字Betacom錄像機(jī)，為便于精確地編輯，在壓縮編碼過程中抽掉了B幀，只有I幀與P幀的組合。 

　　在上述各種圖像壓縮編碼標(biāo)準(zhǔn)中，MPEG－2是專門針對數(shù)字電視的。MPEG－2的壓縮編碼及其標(biāo)準(zhǔn)碼流的形成構(gòu)成了數(shù)字電視信源編碼的核心。

　　五.MPEG－2標(biāo)準(zhǔn)碼流的形成

　　符合MPEG－2格式的碼流成為數(shù)字電視信源編碼的標(biāo)準(zhǔn)輸出碼流。 數(shù)字電視信道編碼，DVB及MPEG－2解碼器等均認(rèn)同和適應(yīng)此標(biāo)準(zhǔn)。為了形成統(tǒng)一標(biāo)準(zhǔn)的MPEG－2輸出碼流，MPEG－2對其壓縮編碼的適用范圍和編碼語法，對碼流的打包與復(fù)用等作了詳細(xì)具體的規(guī)定。

　　1.MPEG－2的類和級

　　在對數(shù)字電視信號進(jìn)行壓縮編碼時，MPEG－2可采用多種編碼工具并實(shí)現(xiàn)不同層次的清晰度，分別稱為MPEG－2的類《Profile》和級《Level》，具體分為五類四級。

　　圖像清晰度由LOW到HIGH逐級提高，使用的編碼工具從SIMPLE到HIGH依次遞增。20個可能的組合中有11個已獲通過，稱為MPEG－2 適用點(diǎn)，其中主類主級MP@ML適用于標(biāo)準(zhǔn)數(shù)字電視，主類高級MP@HL則用于高清晰度電視。

　　2.MPEG－2的層

　　MPEG－2根據(jù)圖像塊和圖像幀的不同組合劃分為六層。MPEG－2的層直接決定了編碼碼流的形成和結(jié)構(gòu)。MPEG－2的層從下至上依次為：

　　象塊層:由8x8個象素點(diǎn)構(gòu)成的DCT變換基本單元；

　　宏塊層:在4：2：2取樣中，一個宏塊由4個亮度象塊，2個Cr象塊和2個Cb 象塊構(gòu)成。另外還有4：2：0取樣和4：4：4取樣的兩種宏塊；

　　像條層:一連串宏塊可構(gòu)成一個像條；

　　圖像層:一系列像條可以構(gòu)成一幅圖像，圖像分為I，B，P三類；

　　圖像組層:由相互間相關(guān)的一組I，B，P幀組成，I幀為第一幀；

　　視頻序列層:一系列圖像組構(gòu)成了一個視頻序列；

　　從象塊開始從下至上依次編碼，并在除象塊和宏塊外的每一層的開始處加上起始碼和頭標(biāo)志，就形成了MPEG－2基本碼流（Elementary Stream〕。

　　3.MPEG－2基本碼流的打包與復(fù)用

　　分別從MPEG－2編碼器中輸出的視頻，音頻和數(shù)據(jù)基本碼流無法直接送信道傳輸，需要經(jīng)過打包和復(fù)用，形成適合傳輸?shù)膯我坏腗PEG－2傳輸碼流。

　　視頻，音頻及數(shù)據(jù)基本碼流ES先被打成一系列不等長的PES小包，稱為打包的基本碼流。每個PES小包帶有一個包頭，內(nèi)含小包的種類，長度及其他相關(guān)信息。視頻，音頻及數(shù)據(jù)的PES小包，按照共同的時間基準(zhǔn)，經(jīng)節(jié)目復(fù)用后形成單一的節(jié)目碼流。多路節(jié)目碼流經(jīng)傳輸復(fù)用后形成由定長傳輸小包組成的單一的傳輸碼流，成為MPEG－2信源編碼的最終輸出信號

　　在數(shù)字化電視信號的信源編碼中，根據(jù)對圖像清晰度的不同要求及其他方面的考慮，可分別采用JPEG、MPEG-1和MPEG-2作為編碼方法。其中，MPEG-2由于專門針對數(shù)字電視的信源編碼制定了一系列的語法和規(guī)范并被廣泛認(rèn)可，已成為數(shù)字電視廣播信源編碼的核心技術(shù)與標(biāo)準(zhǔn)。

H.264

H.264/AVC 是ITU-T VCEG 和ISO/IEC MPEG共同開發(fā)的視頻處理標(biāo)準(zhǔn)，ITU-T作為標(biāo)準(zhǔn)建議H.264，ISO/IEC作為國際標(biāo)準(zhǔn)14496-10（MPEG-4 第10部分）高級視頻編碼（AVC）。

MPEG-2視頻編碼標(biāo)準(zhǔn)（又稱為ITU-T H.262[2]）已有10年的歷史了，由MPEG-1擴(kuò)充而來，支持隔行掃描。使用十分廣泛，幾乎用于所有的數(shù)字電視系統(tǒng)，適合標(biāo)清和高清電視，適合各種媒體傳輸，包括衛(wèi)星、有線、地面等，都能有效地傳輸。然而，類似xDSL、UMTS（通用移動系統(tǒng)）技術(shù)只能提供較小的傳輸速率，甚至DVB-T，也沒有足夠的頻段可用，提供的節(jié)目很有限，隨著高清電視的引入，迫切需要高壓縮比技術(shù)的出現(xiàn)。

應(yīng)用于電信的視頻編碼經(jīng)歷了ITUT H.261、H.262（MPEG-2）、H.263、H.263+、H.263++，提供的服務(wù)從ISDN和T1/E1到PSTN、移動無線網(wǎng)和LAN/INTERNET網(wǎng)。

最近MPEG-4第二部分進(jìn)入了實(shí)用領(lǐng)域，提供了視頻形狀編碼，目標(biāo)是與MPEG-2一樣獲得廣泛的數(shù)字電視應(yīng)用。

1998年，視頻編碼專家組（VCEG-ITU-T SG16Q.6）啟動了H.26L工程，旨在研制出新的壓縮標(biāo)準(zhǔn)，與以前的任何標(biāo)準(zhǔn)相比，效率要提高一倍，同時具有簡單、直觀的視頻編碼技術(shù)，網(wǎng)絡(luò)友好的視頻描述，適合交互和非交互式應(yīng)用（廣播、存儲、流煤體）。

2001年12月，VCEG和運(yùn)動圖像專家組（MPEG-ISO/IEC JTC 1/SC 29/WG 11）組成了聯(lián)合視頻組（JVT，Joint Video Team），研究新的編碼標(biāo)準(zhǔn)H.264/AVC，該標(biāo)準(zhǔn)于2003年3月正式獲得批準(zhǔn)。

視頻的各種應(yīng)用必須通過各種網(wǎng)絡(luò)傳送，這要求一個好的視頻方案能處理各種應(yīng)用和網(wǎng)絡(luò)接口。H.264/AVC為了解決這個問題，提供了很多靈活性和客戶化特性。H.264/AVC的設(shè)計方案包含兩個層次，視頻編碼層（VCL，Video Coding Layer）和網(wǎng)絡(luò)抽象層（NAL，Network Abstraction Layer）。視頻編碼層主要致力于有效地表示視頻內(nèi)容，網(wǎng)絡(luò)抽象層格式化VCL視頻表示，提供頭部信息，適合多種傳輸和存儲媒體。

VCL的設(shè)計同以前的ITU-T和 ISO/IEC JTC一樣，基于塊的混合視頻編碼方法。基本的源編碼算法是：利用時間統(tǒng)計的相關(guān)性，開發(fā)幀間預(yù)測算法；利用預(yù)測殘留變換編碼，開發(fā)空間統(tǒng)計的相關(guān)性。在提高編碼效率方面，沒有一個單一的算法做出特別的貢獻(xiàn)，而是大量的小的改善算法綜合產(chǎn)生的結(jié)果。

一、主要特性

1、H.264/AVC相對以前的編碼方法，以MPEG-2為例，在圖像內(nèi)容預(yù)測方面提高編碼效率，改善圖像質(zhì)量的主要特點(diǎn)如下：

● 可變塊大小運(yùn)動補(bǔ)償： 選擇運(yùn)動補(bǔ)償大小和形狀比以前的標(biāo)準(zhǔn)更靈活，最小的亮度運(yùn)動補(bǔ)償塊可以小到4×4。

●1/4采樣精度運(yùn)動補(bǔ)償：以前的標(biāo)準(zhǔn)最多1/2精度運(yùn)動補(bǔ)償，首次1/4采樣精度運(yùn)動補(bǔ)償出現(xiàn)在MPEG-4第二部分高級類部分，但H.264/AVC大大減少了內(nèi)插處理的復(fù)雜度。

●運(yùn)動矢量可跨越圖像邊界：在以前的標(biāo)準(zhǔn)中，運(yùn)動矢量限制在已編碼參考圖像的內(nèi)部。圖像邊界外推法作為可選技術(shù)首次出現(xiàn)在H.263中。

●多參考圖像運(yùn)動補(bǔ)償：在MPEG-2及以前的標(biāo)準(zhǔn)中，P幀只使用一幀，B幀只使用兩幀圖像進(jìn)行預(yù)測。H.264/AVC使用高級圖像選擇技術(shù)，可以用以前已編碼過且保留在緩沖區(qū)的大量的圖像進(jìn)行預(yù)測，大大提高了編碼效率。

●消除參考圖像順序和顯示圖像順序的相關(guān)性：在以前的標(biāo)準(zhǔn)中，參考圖像順序依賴顯示圖像順序，H.264/AVC消除了該限制，可以任意選擇。

● 消除參考圖像與圖像表示方法的限制：在以前的標(biāo)準(zhǔn)中，B幀圖像不能作為預(yù)測圖像，H.264/AVC在很多情況可以利用B幀圖像作為參考。

● 加權(quán)預(yù)測：H.264/AVC采用新技術(shù)，允許加權(quán)運(yùn)動補(bǔ)償預(yù)測和偏移一定量。在淡入淡出場景中該技術(shù)極大提高編碼效率，該技術(shù)還可用于其他多種用途。

● 改善“跳過”和“直接”運(yùn)動推測：在以前的標(biāo)準(zhǔn)中，預(yù)測編碼圖像的“跳過”區(qū)不能有運(yùn)動。當(dāng)編碼有全局運(yùn)動的圖像時，該限制非常有害。H.264/AVC對“跳過”區(qū)的運(yùn)動采用推測方法。對雙預(yù)測的B幀圖像，采用高級運(yùn)動預(yù)測方法，稱為“直接”運(yùn)動補(bǔ)償，進(jìn)一步改善編碼效率。

● 幀內(nèi)編碼直接空間預(yù)測：將編碼圖像邊沿進(jìn)行外推應(yīng)用到當(dāng)前幀內(nèi)編碼圖像的預(yù)測。

● 循環(huán)去塊效應(yīng)濾波器：基于塊的視頻編碼在圖像中存在塊效應(yīng)，主要來源于預(yù)測和殘余編碼。自適應(yīng)去塊效應(yīng)濾波技術(shù)是非常著名的技術(shù)，能有效消除塊效應(yīng)，改善視頻的主觀和客觀質(zhì)量。

2、除改善預(yù)測方法外，其他改善編碼效率的特性如下：

● 小塊變換：以前的標(biāo)準(zhǔn)變換的塊都是8×8，H.264/AVC主要使用4×4塊變換，使編碼器表示信號局部適應(yīng)性更好，更適合預(yù)測編碼，減少“鈴”效應(yīng)。另外圖像邊界需要小塊變換。

● 分級塊變換：H.264/AVC通常使用小塊變換，但有些信號包含足夠的相關(guān)性，要求以大塊表示，H.264/AVC有兩種方式實(shí)現(xiàn)。低頻色度信號可用8×8，；對幀內(nèi)編碼，可使用特別的編碼類型，低頻亮度信號可用16×16塊。

● 短字長變換： 所有以前標(biāo)準(zhǔn)使用的變換要求32位運(yùn)算，H.264/AVC只使用16位運(yùn)算。

● 完全匹配反變換：所有以前標(biāo)準(zhǔn)反變換和變換之間存在一定容限的誤差，因此，每個解碼器輸出視頻信號都不相同，產(chǎn)生小的漂移，最終影響圖像的質(zhì)量，H.264/AVC實(shí)現(xiàn)了完全匹配。

● 基于上下文的熵編碼：H.264/AVC使用兩種熵編碼方法，CAVLC（上下文自適應(yīng)的可變長編碼）和CABAC（上下文自適應(yīng)二進(jìn)制算術(shù)編碼），兩種都是基于上下文的熵編碼技術(shù)。

3、H.264/AVC具有強(qiáng)大的糾錯功能和各種網(wǎng)絡(luò)環(huán)境操作靈活性，主要特性如下：

● 參數(shù)集結(jié)構(gòu)：H.264/AVC參數(shù)集結(jié)構(gòu)設(shè)計了強(qiáng)大、有效的傳輸頭部信息。在以前的標(biāo)準(zhǔn)中，如果少數(shù)幾位關(guān)鍵信息丟失，可能解碼器產(chǎn)生嚴(yán)重解碼錯誤。H.264/AVC采用很靈活、特殊的方式，分開處理關(guān)鍵信息，能在各種環(huán)境下可靠傳送。

● NAL單元語法結(jié)構(gòu)：H.264/AVC中的每一個語法結(jié)構(gòu)放置在稱為NAL的單元中，以前的標(biāo)準(zhǔn)采用強(qiáng)制性特定的位流接口。NAL單元語法結(jié)構(gòu)允許很自由的客戶化，幾乎適合所有的網(wǎng)絡(luò)接口。

● 靈活的像條大小：在MPEG-2中，規(guī)定了嚴(yán)格的像條結(jié)構(gòu)，頭部數(shù)據(jù)量大，降低預(yù)測效率，編碼效率低。在H.264/AVC可采用非常靈活的像條大小。

● 靈活宏塊排序（FMO）：H.264/AVC可以將圖像劃分為像條組，又稱為圖像區(qū)，每個像條可以獨(dú)立解碼。FMO通過管理圖像區(qū)之間的關(guān)系，具有很強(qiáng)的抗數(shù)據(jù)丟失能力。

● 任意像條排序：因?yàn)槊總€像條幾乎可以獨(dú)立解碼，所以像條可以按任意順序發(fā)送和接收，在實(shí)時應(yīng)用中，可以改善端到端的延時特性，特別適合于接收順序和發(fā)送順序不能對應(yīng)的網(wǎng)絡(luò)中，如使用INTERNET網(wǎng)絡(luò)協(xié)議的應(yīng)用。

● 冗余圖像：為提高抗數(shù)據(jù)丟失的能力，H.264/AVC設(shè)計中包含一種新的能力，允許編碼器發(fā)送圖像區(qū)的冗余表示，當(dāng)圖像區(qū)的主表示丟失時仍可以正確解碼。

● 數(shù)據(jù)劃分：視頻流中的編碼信息的重要性不同，有些信息（如運(yùn)動矢量、預(yù)測信息等）比其他信息更為重要。H.264/AVC可以根據(jù)每個像條語法元素的范疇，將像條語法劃分為3部分，分開傳送。

二、網(wǎng)絡(luò)層

NAL規(guī)范視頻數(shù)據(jù)的格式，主要是提供頭部信息，以適合各種媒體的傳輸和存儲。NAL支持各種網(wǎng)絡(luò)，包括：

● 任何使用RTP/IP協(xié)議的實(shí)時有線和無線Internet 服務(wù)。

● 作為MP4文件存儲和多媒體信息文件服務(wù)。

● MPEG-2系統(tǒng)。

● 其他網(wǎng)。

1、NAL 單元

編碼的視頻流組織成NAL單元，視頻數(shù)據(jù)放置在網(wǎng)絡(luò)單元中傳輸，每個網(wǎng)絡(luò)單元包含整數(shù)個字節(jié)，第一個字節(jié)是頭部信息，指示NAL單元的數(shù)據(jù)類型，其余是凈荷。

凈荷數(shù)據(jù)與仿真預(yù)防字節(jié)做交織處理，仿真預(yù)防字節(jié)是特殊值字節(jié)，防止偶然在凈荷中出現(xiàn)同步字節(jié)圖樣。

NAL規(guī)定一種通用的格式，既適合面向包傳輸，也適合流傳送。實(shí)際上，包傳輸和流傳輸?shù)姆绞绞窍嗤?，不同之處是流傳輸前面增加了一個起始碼前綴。

2、NAL單元在字節(jié)流中的應(yīng)用

類似H.320和MPEG-2/H.222.0等傳輸系統(tǒng)，傳輸NAL作為有序連續(xù)字節(jié)或比特流，同時要依靠數(shù)據(jù)本身識別NAL單元邊界。在這樣的應(yīng)用系統(tǒng)中，H.264/AVC規(guī)范定義了字節(jié)流格式，每個NAL單元前面增加3個字節(jié)的前綴，即同步字節(jié)。在比特流應(yīng)用中，每個圖像需要增加一個附加字節(jié)作為邊界定位。還有一種可選特性，在字節(jié)流中增加附加數(shù)據(jù)，用做擴(kuò)充發(fā)送數(shù)據(jù)量，能實(shí)現(xiàn)快速邊界定位，恢復(fù)同步。

3、NAL單元在面向包傳送中的應(yīng)用

在類似Internet/RTP面向包傳送協(xié)議系統(tǒng)中，包結(jié)構(gòu)中包含包邊界識別字節(jié)，在這種情況下，不需要同步字節(jié)。

4、VCL和非VCL的NAL單元

NAL單元分為VCL和非VCL兩種，VCL NAL單元包含視頻圖像采樣信息，非VCL包含各種有關(guān)的附加信息，例如參數(shù)集（頭部信息，應(yīng)用到大量的VCL NAL單元）、提高性能的附加信息、定時信息等。

5、參數(shù)集

參數(shù)集是很少變化的信息，用于大量VCL NAL單元的解碼，分為兩種類型：

● 序列參數(shù)集，作用于一串連續(xù)的視頻圖像，即視頻序列。

● 圖像參數(shù)集，作用于視頻序列中的一個或多個個別的圖像。

序列和圖像參數(shù)集機(jī)制，減少了重復(fù)參數(shù)的傳送，每個VCL NAL單元包含一個標(biāo)識，指向有關(guān)的圖像參數(shù)集，每個圖像參數(shù)集包含一個標(biāo)識，指向有關(guān)的序列參數(shù)集的內(nèi)容，因此，只用少數(shù)的指針信息，引用大量的參數(shù)，大大減少每個VCL NAL單元重復(fù)傳送的信息。

序列和圖像參數(shù)集可以在發(fā)送VCL NAL單元以前發(fā)送，并且重復(fù)傳送，大大提高糾錯能力。序列和圖像參數(shù)集可以在“帶內(nèi)”，也可以用更為可靠的其他“帶外”通道傳送。

6、存儲單元

一組指定格式的NAL單元稱為存儲單元，每個存儲單元對應(yīng)一個圖像。每個存儲單元包含一組VCL NAL單元，組成一個主編碼圖像，VCL NAL單元由表示視頻圖像采樣的像條所組成。存儲單元前面可以加一個前綴，分界存儲單元，附加增強(qiáng)信息（SEI）（如圖像定時信息）也可以放在主編碼圖像的前面。

主編碼圖像后附加的VCL NAL單元，包含同一圖像的冗余表示，稱為冗余編碼圖像，當(dāng)主編碼圖像數(shù)據(jù)丟失或損壞時，可用冗余編碼圖像解碼。

7、編碼視頻序列

一個編碼視頻序列由一串連續(xù)的存儲單元組成，使用同一序列參數(shù)集。每個視頻序列可獨(dú)立解碼。編碼序列的開始是即時刷新存儲單元（IDR）。IDR是一個I幀圖像，表示后面的圖像不用參考以前的圖像。一個NAL單元流可包含一個或更多的編碼視頻序列。

MPEG-4標(biāo)準(zhǔn)

運(yùn)動圖像專家組MPEG 于1999年2月正式公布了MPEG-4（ISO/IEC14496）標(biāo)準(zhǔn)第一版本。同年年底MPEG-4第二版亦告底定，且于2000年年初正式成為國際標(biāo)準(zhǔn)。
  
   MPEG-4與MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具體壓縮算法，它是針對數(shù)字電視、交互式繪圖應(yīng)用（影音合成內(nèi)容）、交互式多媒體（WWW、資料擷取與分散）等整合及壓縮技術(shù)的需求而制定的國際標(biāo)準(zhǔn)。MPEG-4標(biāo)準(zhǔn)將眾多的多媒體應(yīng)用集成于一個完整的框架內(nèi)，旨在為多媒體通信及應(yīng)用環(huán)境提供標(biāo)準(zhǔn)的算法及工具，從而建立起一種能被多媒體傳輸、存儲、檢索等應(yīng)用領(lǐng)域普遍采用的統(tǒng)一數(shù)據(jù)格式。
  
   MPEG-4的編碼理念是：MPEG-4標(biāo)準(zhǔn)同以前標(biāo)準(zhǔn)的最顯著的差別在于它是采用基于對象的編碼理念，即在編碼時將一幅景物分成若干在時間和空間上相互聯(lián)系的視頻音頻對象，分別編碼后，再經(jīng)過復(fù)用傳輸?shù)浇邮斩?，然后再對不同的對象分別解碼，從而組合成所需要的視頻和音頻。這樣既方便我們對不同的對象采用不同的編碼方法和表示方法，又有利于不同數(shù)據(jù)類型間的融合，并且這樣也可以方便的實(shí)現(xiàn)對于各種對象的操作及編輯。例如，我們可以將一個卡通人物放在真實(shí)的場景中，或者將真人置于一個虛擬的演播室里，還可以在互聯(lián)網(wǎng)上方便的實(shí)現(xiàn)交互，根據(jù)自己的需要有選擇的組合各種視頻音頻以及圖形文本對象。
  
   MPEG-4系統(tǒng)的一般框架是：對自然或合成的視聽內(nèi)容的表示；對視聽內(nèi)容數(shù)據(jù)流的管理，如多點(diǎn)、同步、緩沖管理等；對靈活性的支持和對系統(tǒng)不同部分的配置。
  
   與MPEG-1、MPEG-2相比，MPEG-4具有如下獨(dú)特的優(yōu)點(diǎn)：
  
   （1） 基于內(nèi)容的交互性
  
   MPEG-4提供了基于內(nèi)容的多媒體數(shù)據(jù)訪問工具，如索引、超級鏈接、上下載、刪除等。利用這些工具，用戶可以方便地從多媒體數(shù)據(jù)庫中有選擇地獲取自己所需的與對象有關(guān)的內(nèi)容，并提供了內(nèi)容的操作和位流編輯功能，可應(yīng)用于交互式家庭購物，淡入淡出的數(shù)字化效果等。MPEG-4提供了高效的自然或合成的多媒體數(shù)據(jù)編碼方法。它可以把自然場景或?qū)ο蠼M合起來成為合成的多媒體數(shù)據(jù)。
  
   （2）高效的壓縮性
  
   MPEG-4基于更高的編碼效率。同已有的或即將形成的其它標(biāo)準(zhǔn)相比，在相同的比特率下，它基于更高的視覺聽覺質(zhì)量，這就使得在低帶寬的信道上傳送視頻、音頻成為可能。同時MPEG-4還能對同時發(fā)生的數(shù)據(jù)流進(jìn)行編碼。一個場景的多視角或多聲道數(shù)據(jù)流可以高效、同步地合成為最終數(shù)據(jù)流。這可用于虛擬三維游戲、三維電影、飛行仿真練習(xí)等
  
   （3）通用的訪問性
  
   MPEG-4提供了易出錯環(huán)境的魯棒性，來保證其在許多無線和有線網(wǎng)絡(luò)以及存儲介質(zhì)中的應(yīng)用，此外，MPEG-4還支持基于內(nèi)容的的可分級性，即把內(nèi)容、質(zhì)量、復(fù)雜性分成許多小塊來滿足不同用戶的不同需求，支持具有不同帶寬，不同存儲容量的傳輸信道和接收端。
  
   這些特點(diǎn)無疑會加速多媒體應(yīng)用的發(fā)展，從中受益的應(yīng)用領(lǐng)域有：因特網(wǎng)多媒體應(yīng)用；廣播電視；交互式視頻游戲；實(shí)時可視通信；交互式存儲媒體應(yīng)用；演播室技術(shù)及電視后期制作；采用面部動畫技術(shù)的虛擬會議；多媒體郵件；移動通信條件下的多媒體應(yīng)用；遠(yuǎn)程視頻監(jiān)控；通過ATM網(wǎng)絡(luò)等進(jìn)行的遠(yuǎn)程數(shù)據(jù)庫業(yè)務(wù)等。MPEG-4主要應(yīng)用如下：
  
   （1）應(yīng)用于因特網(wǎng)視音頻廣播
  
   由于上網(wǎng)人數(shù)與日俱增，傳統(tǒng)電視廣播的觀眾逐漸減少，隨之而來的便是廣告收入的減少，所以現(xiàn)在的固定式電視廣播最終將轉(zhuǎn)向基于TCP/IP的因特網(wǎng)廣播，觀眾的收看方式也由簡單的遙控器選擇頻道轉(zhuǎn)為網(wǎng)上視頻點(diǎn)播。視頻點(diǎn)播的概念不是先把節(jié)目下載到硬盤，然后再播放，而是流媒體視頻（streaming video），點(diǎn)擊即觀看，邊傳輸邊播放。
  
   現(xiàn)在因特網(wǎng)中播放視音頻的有：Real Networks公司的 Real Media，微軟公司的 Windows Media，蘋果公司的 QuickTime，它們定義的視音頻格式互不兼容，有可能導(dǎo)致媒體流中難以控制的混亂，而MPEG-4為因特網(wǎng)視頻應(yīng)用提供了一系列的標(biāo)準(zhǔn)工具，使視音頻碼流具有規(guī)范一致性。因此在因特網(wǎng)播放視音頻采用MPEG-4，應(yīng)該說是一個安全的選擇。
  
   （2）應(yīng)用于無線通信
  
   MPEG-4高效的碼率壓縮，交互和分級特性尤其適合于在窄帶移動網(wǎng)上實(shí)現(xiàn)多媒體通信，未來的手機(jī)將變成多媒體移動接收機(jī)，不僅可以打移動電視電話、移動上網(wǎng)，還可以移動接收多媒體廣播和收看電視。
  
   （3）應(yīng)用于靜止圖像壓縮
  
   靜止圖像（圖片）在因特網(wǎng)中大量使用，現(xiàn)在網(wǎng)上的圖片壓縮多采用JPEG技術(shù)。MPEG-4中的靜止圖像（紋理）壓縮是基于小波變換的，在同樣質(zhì)量條件下，壓縮后的文件大小約是JPEG壓縮文件的十分之一。把因特網(wǎng)上使用的JPEG圖片轉(zhuǎn)換成MPEG-4格式，可以大幅度提高圖片在網(wǎng)絡(luò)中的傳輸速度。
  
   （4）應(yīng)用于電視電話
  
   傳統(tǒng)用于窄帶電視電話業(yè)務(wù)的壓縮編碼標(biāo)準(zhǔn)，如H261，采用幀內(nèi)壓縮、幀間壓縮、減少象素和抽幀等辦法來降低碼率，但編碼效率和圖像質(zhì)量都難以令人滿意。MPEG-4的壓縮編碼可以做到以極低碼率傳送質(zhì)量可以接受的聲像信號，使電視電話業(yè)務(wù)可以在窄帶的公用電話網(wǎng)上實(shí)現(xiàn)。
  
   （5）應(yīng)用于計算機(jī)圖形、動畫與仿真
  
   MPEG-4特殊的編碼方式和強(qiáng)大的交互能力，使得基于MPEG-4的計算機(jī)圖形和動畫可以從各種來源的多媒體數(shù)據(jù)庫中獲取素材，并實(shí)時組合出所需要的結(jié)果。因而未來的計算機(jī)圖形可以在MPEG-4語法所允許的范圍內(nèi)向所希望的方向無限發(fā)展，產(chǎn)生出今天無法想象的動畫及仿真效果。
  
   （6）應(yīng)用于電子游戲
  
   MPEG-4可以進(jìn)行自然圖像與聲音同人工合成的圖像與聲音的混合編碼，在編碼方式上具有前所未有的靈活性，并且能及時從各種來源的多媒體數(shù)據(jù)庫中調(diào)用素材。這可以在將來產(chǎn)生象電影一樣的電子游戲，實(shí)現(xiàn)極高自由度的交互式操作。