(中)


H.264可用于手機(jī)電視廣播，打開手機(jī)就可以收看數(shù)字電視節(jié)目。美國高等電視系統(tǒng)會議和日本無線電工業(yè)和事務(wù)協(xié)會都準(zhǔn)備把H.264作為地面便攜式數(shù)字電視廣播的編碼方式。歐洲數(shù)字電視廣播標(biāo)準(zhǔn)化團(tuán)體也正在將H.264作為數(shù)字電視的一種編碼方式來采用。 



    家電行業(yè)中的視頻存儲設(shè)備廠商也看中了H.264。東芝的HD DVD-ROM就靠H.264贏得了時間。硬盤錄像機(jī)HDD和DVD錄像機(jī)的長時間錄像功能也會采用H.264編碼，H.264能使HDTV節(jié)目錄像和 SDTV的長時間錄像成為可能。因而，生產(chǎn)LSI芯片的廠商也十分重視H.264。



    甚至DVD論壇也在動作。D9型DVD碟片只有8.5GB容量，不夠放入2小時的HDTV節(jié)目，如用H.264來壓縮就有可能。這就是HD-DVD9格式，其畫質(zhì)評價已經(jīng)結(jié)束，標(biāo)準(zhǔn)正在制訂之中，等待許可條件的出臺。



    在通訊領(lǐng)域，互聯(lián)網(wǎng)工程任務(wù)已開始將H.264作為實(shí)時傳輸協(xié)議流的格式進(jìn)行標(biāo)準(zhǔn)化?；ヂ?lián)網(wǎng)和手機(jī)的視頻傳送也會有H.264作為編碼方式。美國Polycom公司用基線層面H.264格式壓縮圖像的電視會議系統(tǒng)已開始生產(chǎn)。



    圖2是H.264編碼原理框圖，圖中，只要去除左上角的幀內(nèi)預(yù)測塊和右下角的環(huán)路濾波器，及對某些方框的補(bǔ)充說明，此圖同樣可用于表示MPEG-2和MPEG-4的操作流程。所以，圖中很容易看出H.264和MPEG的各種早期格式的主要差別。


 





 


    對H.264來說，整個運(yùn)算量在各部分的分配如下：幀間預(yù)測和幀內(nèi)預(yù)測占60%~70%，整數(shù)變換約占10%，糾錯編碼約占20%，環(huán)路濾波的10%。



    MPEG的每秒25或30幀的畫面被分為構(gòu)成方式不同的三種畫面：幀內(nèi)編碼I畫面，前向預(yù)測編碼P畫面和雙向預(yù)測編碼B畫面。



    I畫面用原始數(shù)據(jù)直接編碼，不與其它畫面比較。所以，I畫面的編碼量信息量大，數(shù)據(jù)量大，但可以僅用自身的數(shù)據(jù)獨(dú)立還原畫面。如果視頻畫面中出現(xiàn)馬賽克或其它紊亂，只要有一幀I畫面出現(xiàn)就能中止錯誤的畫面繼續(xù)下去。



    P畫面用最近的I或P畫面作為比較基準(zhǔn)進(jìn)行運(yùn)動預(yù)測，只記錄下這幀畫面與基準(zhǔn)畫面的不同之處。所以，編碼效率較高，數(shù)據(jù)量小，但還原畫面就需要前面的基準(zhǔn)幀數(shù)據(jù)。若基準(zhǔn)畫面已經(jīng)有錯，那么這個畫面上的錯誤會被傳下去，直到I畫面到來。



    B畫面可以同時用前面和后面的畫面作為比較基準(zhǔn)進(jìn)行運(yùn)動預(yù)測。編碼壓縮率最大，數(shù)據(jù)量最小，而且不會傳遞錯誤。但需要附加存儲器，時間上有遲后，還不能作為以后的預(yù)測基準(zhǔn)。


 H.264的變化之一是在幀內(nèi)編碼I畫面中，又加入了幀內(nèi)預(yù)測編碼技術(shù)，即解碼時可用周圍數(shù)據(jù)的差分值來重構(gòu)畫面。幀內(nèi)預(yù)測以特定大小的塊作為基準(zhǔn)單元，從周圍像素中預(yù)測編碼化的模板。H.264的基準(zhǔn)塊大小分4×4和16×16兩種，前者有9種預(yù)測模式，預(yù)測方向見圖3。后者也有4種模式。因?yàn)樵瓐D像左右、上下都有一定的相關(guān)性，不同部分的差分值總比不進(jìn)行幀內(nèi)預(yù)測的原始值要少，故量化后的編碼量就減少了，而且高頻成分也比原圖像為少。 

 





 


    運(yùn)動預(yù)測塊中采用了全面預(yù)測技術(shù)，效果極好。H.264在運(yùn)動矢量的檢出時，能選定最合適的大小來進(jìn)行，因而運(yùn)動矢量檢出的精度較高。見圖4。MPEG- 2只有一個運(yùn)動矢量檢出模式，MPEG-4有2個，而H.264有7個之多。運(yùn)動矢量探索單元分得細(xì)，就能找到更多的靜態(tài)部分，真正的運(yùn)動矢量就能單獨(dú)求出，抑止了運(yùn)動細(xì)節(jié)的編碼量。


 





 


    在預(yù)測中，可以利用的參考幀幀數(shù)也增加了。在H.264中，根據(jù)畫面清晰度的不同能有4到6個校正幀可用，因而能搜索到突然消失那樣的蒙太奇畫面。H.264中，720×480像素的D1格式畫面可以從前4幀的不同位置中預(yù)測第5幀畫面。



    全面預(yù)測和幀內(nèi)預(yù)測在MPEG-2時代并非想不到，因當(dāng)畫面像素數(shù)和畫面品質(zhì)要求提高時，運(yùn)算處理量就會爆發(fā)性地增加，實(shí)時運(yùn)用時有可能出現(xiàn)中斷。為此，MPEG-2和MPEG-4的運(yùn)動預(yù)測規(guī)格都指定了最低限，運(yùn)動矢量檢出編碼時的自由度不能太大。



    H.264采用全面運(yùn)動預(yù)測和I畫面幀內(nèi)預(yù)測后，編碼量得到削減，但LSI的運(yùn)算處理量增大。為此，引入了DCT變換的簡化處理技術(shù)，來減輕LSI的負(fù)擔(dān)，畫質(zhì)也有所改善。



    具體技術(shù)是把原來的離散余弦變換DCT改變?yōu)榻频恼麛?shù)變換，即把DCT正交變換時用的系數(shù)1，0.414變成2，1；cos（π/8），cos （π/8）2變成1/（5）1/2，1/5。使原來必須用浮點(diǎn)運(yùn)算進(jìn)行的余弦函數(shù)運(yùn)算，可用整數(shù)運(yùn)算進(jìn)行。同時還削減了系數(shù)的種類，使運(yùn)算量減少。由于不必嚴(yán)格規(guī)定運(yùn)算精度，還可以用SIMD（單指令多流數(shù)據(jù)）等操作快捷命令來執(zhí)行。

(下)


H.264又一項(xiàng)減少運(yùn)算量的方法是在很多地方引入層次化運(yùn)算，把在矩陣數(shù)據(jù)塊變成小塊運(yùn)算，使計(jì)算式變得更加簡單，見圖5。 


 





 


    在DCT中采用時，8×8像素塊層次化到2×2像素塊，變換就變得快捷。運(yùn)動補(bǔ)償中也可利用。檢出運(yùn)動矢量時，最初的模塊大，運(yùn)動矢量的檢出范圍大，搜索快捷。當(dāng)檢出到有動作的部分再調(diào)入小模塊細(xì)分析。H.264進(jìn)行運(yùn)動預(yù)測的模板多，一旦先進(jìn)全面檢索，需要的時間就很長，運(yùn)算量也大。用層次化處理，先進(jìn)行模板的收縮，接著小范圍檢索，就能減少計(jì)算量。在幀內(nèi)預(yù)測中利用層次化后，殘差計(jì)算的范圍就能變小，同樣有利于減少計(jì)算量。



    H.264與MPEG-2和MPEG-4的不同還存在于糾錯編碼塊中，H.264的糾錯編碼為內(nèi)容自適應(yīng)可變長度碼（CAVLC）和內(nèi)容自適應(yīng)二進(jìn)制算法編碼（CABAC），能提高糾錯能力。而MPEG-2和MPEG-4杰霍夫曼編碼。另外，還加入了MPEG-2和MPEG-4沒有環(huán)路濾波器，有降低噪聲的效果。H.264的整數(shù)變換以4×4像素塊為單位，已比原來的8×8像素塊的塊噪聲少，再次降低，畫質(zhì)得到了進(jìn)一步提高。



    從應(yīng)用角度看，H.264有三個層面，分為主要用于電視會議等通信的基線層面，面向高畫質(zhì)用途和錄像的主層面以及面向內(nèi)容配送的擴(kuò)展層面。各層面的清晰度和編碼速度取值不同。



    基線層面的主要技術(shù)為圖像只含有I畫面，P畫面，系統(tǒng)內(nèi)有環(huán)路濾波，1/4幀間預(yù)測，4:2:0 YUV格式輸入，基于VLC的糾錯編碼，彈性宏塊指令等。主要層面則在基線層面基礎(chǔ)上加入了CABAC運(yùn)算編碼技術(shù)和基于雙向預(yù)測的B畫面，濾波（接口）等技術(shù)，但不含彈性宏塊指令。擴(kuò)展層面則在基線層面里加入B畫面和濾波編碼等。



    H.264分有4.1種不同樣式的圖像水平。水平1的編碼速度較小，最大只能達(dá)64kbps，像素格式為QCIF（176×144），30幀/秒和Sub QCIF（128×96），60幀/秒。適合手機(jī)、PDA等屏幕播放視頻用。水平2的編碼速度可達(dá)2Mbps，圖像的像素格式為CIF（352× 288），30幀/秒。水平3、水平4分別對應(yīng)SDTV、HDTV圖像格式，編碼速度為10Mbps，20Mbps。另外，還有能支持更高清晰度的水平 5，編碼速度高達(dá)135Mbps。故總稱為4.1水平。在各水平更細(xì)的分類中，最大編碼速度也還有不同規(guī)定。


最后，把H.264與MPEG-2/MPEG-4主要的不同技術(shù)比較與下表1。


 





 


 


    針對H.264的特點(diǎn)，編碼軟件和編碼LSI開發(fā)的廠家都把編碼/解碼運(yùn)算量的減少作為方向來研究，所以，實(shí)用前景大好。大多數(shù)半導(dǎo)體廠認(rèn)為在H.264中使用削減運(yùn)算量方法后，能獲得相當(dāng)于MPEG-2編碼LSI的2倍左右的處理能力。



    由于技術(shù)的日益成熟，半導(dǎo)體廠商已在進(jìn)行H.264的編碼/解碼LSI的開發(fā)。特別是HDD錄像機(jī)和DVD錄像機(jī)等設(shè)備中，采用H.264的實(shí)例已很多，更引起了半導(dǎo)體廠商的關(guān)心。加之，H.264采用的動畫編碼方式和音頻編碼方式具有多樣化特性，今后幾乎將會是全部廠商的主要規(guī)格之一。



    以目前芯片將H.264實(shí)用化的研究也在進(jìn)行之中。用德州儀器（TI）公司制造的DSP[TMS320C64××]對以H.264預(yù)先編碼的圖像已證實(shí)能進(jìn)行實(shí)時解碼。TI公司正在開發(fā)的C6×系列DSP LSI，將在視頻編碼電路和存儲控制電路中，加入對應(yīng)H.264和MWV等的編碼/解碼功能。


TI公司推出的可以對MPEG-4編碼/解碼的用于便攜機(jī)開發(fā)的TMS320DM270，只要用上新的CPU提高處理能力，就可用于H.264的編碼/解碼。 


    已經(jīng)有MWA9的編碼/解碼DSP樣品出廠的美國模擬設(shè)備公司也在向H.264前進(jìn)。



    圖6是美國InStat/MDR公司對H.264功能LSI產(chǎn)量的預(yù)測。預(yù)測還只基于H.264的許可制度與MPEG-2一樣的前提下進(jìn)行的。


 





 


H.264的許可制度有望較友善



    H.264替代MPEG-4的呼聲很高，除了其高性能外，作為國際標(biāo)準(zhǔn)和公正的無差別許可制度也至關(guān)重要。



    MPEG-4的許可體系引起了幾大行業(yè)，特別是信息配送行業(yè)的強(qiáng)烈反對，使得新國際標(biāo)準(zhǔn)的許可收費(fèi)不得不向更為友善的方向發(fā)展。表2是幾種視頻壓縮技術(shù)的許可收費(fèi)價格。


 





 


    表中可見，MPEG LA公司提出的MPEG-4配送過程也要付費(fèi)是空前絕后的。視頻壓縮產(chǎn)品只對終端收費(fèi)合乎常情，因而招至了很大反抗，直到今日仍在遭人反對。而且對采用 MPEG-4的產(chǎn)品和服務(wù)還分成6種標(biāo)準(zhǔn)：用戶記錄視頻，互聯(lián)網(wǎng)視頻，車載移動視頻，特有用戶視頻，存儲視頻和企業(yè)視頻。連簡單的移動電視服務(wù)，如從現(xiàn)場到電視中心通訊時，若使用MPEG-4視頻的話，也需支付移動視頻的許可費(fèi)。



    因此，連原定在地面數(shù)字電視的編碼方式中采用MPEG-4的日本ARIB，也因許可費(fèi)問題而開始研討是否改用H.264。擁有各種內(nèi)容服務(wù)業(yè)者的移動內(nèi)容論壇MCF也于2003年5月23日，致涵MPEG LA公司反對內(nèi)容收費(fèi)，要求重新考慮許可條件。MPEG LA也已松口表示希望以能相互滿意的形式交涉。



    隨著掌握壓縮技術(shù)的企業(yè)增加和用戶巨增，H.264的許可管理收費(fèi)受到二個方面的壓力。一、用戶要求低價格，最好免費(fèi)使用；二、持有壓縮技術(shù)的企業(yè)增加，供應(yīng)空間大，不得不低價出售。目前具有高壓縮率特征的活動圖像編碼技術(shù)的企業(yè)不少，如，美國數(shù)據(jù)流公司的XVD，能在一片CD-R碟片上放入2小時圖像，并能實(shí)時編碼。美國On2技術(shù)公司的活動圖像編碼技術(shù)VP5和新版本VP6，國內(nèi)推出的EVD就采用這種編碼技術(shù)。美國AOL（America Online）公司也有新壓縮技術(shù)在進(jìn)行許可操作。微軟的WMV 9也在向家電產(chǎn)品擴(kuò)展，如美國工藝家庭娛樂公司使用WMV 9壓縮，將HDTV畫質(zhì)的“終結(jié)者2：審判日”放入DVD-ROM內(nèi)。


為此，H.264的許可制度設(shè)計(jì)有兩點(diǎn)引人之處：第一，部分格式將無償使用，H.264的基線層面全員免費(fèi)，無償使用；其二，許可體系要比MPEG-4單純，公正無差別對待用戶和專利持有者。以及其它能促進(jìn)普及的優(yōu)惠政策，如早期低價格許可等。 


    基線層面的免費(fèi)是以ITL-T主要活動的企業(yè)為中心推動的?，F(xiàn)得到美國蘋果公司和美國Cisco系統(tǒng)公司、中國聯(lián)想公司、芬蘭諾基亞、美國On2技術(shù)公司、德國西門子、美國德州儀器公司等的支持，并有美國政府為其撐腰。



    基線層面免費(fèi)的最大目的是加速H.264的普及。當(dāng)基線層面普及以后，收費(fèi)的主層面和擴(kuò)展層面就能帶動起來。盡管主要層面和擴(kuò)展層面要收費(fèi)，但從趨勢看，許可費(fèi)應(yīng)較為便宜，因?yàn)楦鞣N編碼技術(shù)的許可費(fèi)都有不斷下降的趨勢，目前很熱門的美國微笑WMV 9的許可費(fèi)就比MPEG-2和MPEG-4要低，見表2。而且微軟的契約期為10年，比MPEG-2和MPEG-4還長。



    從MPEG-2向MPEG-4的發(fā)展看，編碼器（電路加軟件）和解碼（電路加軟件）的費(fèi)用就降到1/10，WMV9更低?？梢灶A(yù)計(jì)H.264的許可費(fèi)用會比WMV 9還低。



    前文提到的45個團(tuán)體的聯(lián)合會傳出說法，如果H.264采用MPEG-4 Visual一樣的許可體系，H.264就可能不被采用，態(tài)度強(qiáng)硬。標(biāo)準(zhǔn)中的專利收費(fèi)收益已遠(yuǎn)不止收回投入的開發(fā)成本，而是在不斷地獲取暴利，故降低收費(fèi)在所必然。



    當(dāng)然，只要沒有定局，變化依然存在。專利持有者的想法也各有不同，采用無差別對待原則是否行得通。專利實(shí)施充滿著大量利益誘惑，追名逐利者大有人在。目前已經(jīng)有兩家公司申稱對H.264具有許可管理權(quán)。在專利應(yīng)用前就開始搶專利管理權(quán)的現(xiàn)象是前所未有的，兩家公司還都有淵源。一家是實(shí)際持有MPEG-2和 MPEG-4 Visual許可管理的美國MPEG LA公司。另一家是進(jìn)行MPEG-2 AAC和MPEG-4 Audio許可管理的美國杜比實(shí)驗(yàn)室的子公司美國Vialicensing公司。最終有哪一家公司管理，還是分割管理，現(xiàn)在都不清楚。



    但又好、又便宜，始終是技術(shù)發(fā)展的方向。