|
中國論文網(wǎng) http://www./8/view-3069439.htm 摘要：隨著信息化腳步的不斷加快，網(wǎng)絡(luò)技術(shù)與多媒體技術(shù)的不斷發(fā)展，使人們對時態(tài)的要求越來越高，這就對音視頻信號傳輸技術(shù)提出了更高的要求。本文主要介紹了音頻系統(tǒng)同步技術(shù)的概念及存在的問題，并提出了MPEG音視頻同步壓縮方法。 關(guān)鍵詞：音視頻信號；同步技術(shù) 中圖分類號：TN919.8文獻標識碼：A文章編號：1007-9599 (2012) 06-0000-02 進入21世紀以后，計算機網(wǎng)絡(luò)技術(shù)以及寬帶通信技術(shù)得到了飛速發(fā)展，同時它也為多媒體通信技術(shù)的發(fā)展奠定了基礎(chǔ)。就目前而言，多媒體在不同領(lǐng)域都得到了廣泛的應(yīng)用，例如視頻會議、遠程教學(xué)、視頻電話以及遠程低碼率媒體協(xié)同工作等等。而媒體間的同步技術(shù)就是支持這些多媒體能夠正常應(yīng)用的一個關(guān)鍵技術(shù)。如果要實現(xiàn)音頻和視頻的同步，就需要使音視頻信號的同步采集、壓縮、傳輸以及同步播放等問題得到很好地需要解決，而解決這些問題的最終目的就是實現(xiàn)客戶端的圖像和聲音的同步播放。 一、音視頻系統(tǒng)中的同步技術(shù)的概念 對于音視頻系統(tǒng)的同步技術(shù)，是指具有兩種或者兩種以上的多媒體事件按照一定的時間順序關(guān)系進行播放，同時也可以用來實現(xiàn)多個媒體事件在時間域中的播放機制或過程的協(xié)調(diào)工作。采用同步技術(shù)可以控制并協(xié)調(diào)兩種或者兩種以上的媒體事件，在其同步播放的過程中其內(nèi)在本質(zhì)或由指定所決定的進展和聯(lián)系。 我們?nèi)绻凑諘r間關(guān)系來對同步進行劃分的話，可將同步劃分為三類：媒體流之間的同步、媒體流內(nèi)的同步以及媒體對象之間的同步。這三類同步是組成多媒體同步的三個主要層次，并且媒體流內(nèi)的同步是在同一個時間相關(guān)媒體流內(nèi)而進行的。我們可以發(fā)現(xiàn)，由于文字、圖像等與時間無關(guān)的媒體，并不存在這種所謂的同步問題。 二、應(yīng)用音視頻信號同步技術(shù)的重要性 目前，由于許多時間相關(guān)性數(shù)據(jù)類型被引入多媒體系統(tǒng)，在建立過程中這些多媒體數(shù)據(jù)的時間相關(guān)性往往被隱含，特別是對于活動視頻的圖像序列，很多情況下都是由用戶自己定義的。在多媒體系統(tǒng)中就必須體現(xiàn)時間相關(guān)性必須體現(xiàn)，此外由于存儲、通信和計算會導(dǎo)致系統(tǒng)延遲，在數(shù)據(jù)演示過程中也是必須克服的。對于以上的這些特定要求，都迫使我們引進先進的同步技術(shù)來加以解決。 三、MPEG音視頻同步壓縮方法 ?。ㄒ唬㎝PEG的標準 目前，MPEG標準主要可分為五個，分別為MPEG-1、MPEG-2、MPEG-4、MPEG-7以及MPEG-21等。我們常常說的MPEG標準的視頻壓縮編碼技術(shù)，它是利用了具有運動補償功能的幀間壓縮編碼技術(shù)，從而達到了減小時間冗余度的目的；并且也利用了DCT技術(shù)，實現(xiàn)減小圖像空間冗余度的目的；還利用了熵編碼，這就使其在信息表示方面實現(xiàn)減小統(tǒng)計冗余度的目的。這些技術(shù)的運用，使其壓縮性能得到很大增強。 ?。ǘ㎝PEG-4的優(yōu)點 ?。?）MPEG-4的優(yōu)點在于它可以在低帶寬等條件設(shè)計算法，這樣就使得MPEG4的壓縮比更高，從而就達到了低碼率的視頻傳輸?shù)男Ч?。并且它可以使用公用電話線來進行連續(xù)傳輸視頻，圖像的質(zhì)量也是可以保證的，這一點是其它技術(shù)做不到的。 ?。?）可以很大程度上節(jié)省存儲空間。如果在同樣的條件下，經(jīng)過編碼處理的圖像文件就會越小，相對而言所占用的存儲空間也就越小。和MPEG-1、MPEG-2相比MPEG-4算法更加優(yōu)化，因而它的壓縮效率更高。 ?。?）所傳送的圖像質(zhì)量好。由于MPEG4的最高圖像清晰度為768X576，基本上達到DVD的畫面效果。此外，相對于其它的壓縮技術(shù)來說，MPEG4算法上的不具有局限性，它可以保證畫面中出現(xiàn)快速運動的人或者物體等的圖像質(zhì)量不會下降，從而使畫面清晰度得到保證。 四、關(guān)于MPEG-4音視頻的同步方案的設(shè)計與實現(xiàn) ?。ㄒ唬σ粢曨l的同步系統(tǒng)的硬件進行設(shè)計 對于系統(tǒng)硬件的設(shè)計，該系統(tǒng)在pSOS實時嵌入式操作系統(tǒng)下運行，所用的開發(fā)語言是C語言。能夠選擇使用的軟件包有以下幾種：IADK和NDK集成應(yīng)用開發(fā)包以及DVE-2開發(fā)板自帶的板支持包BSP。對于DVE-2板來說，它集成了音視頻采集模塊等部件，并且可以把音視頻信號儲存在閃存里，或者可以通過以太網(wǎng)、PCI、RS232或者JTAG接口來對外傳輸，它的設(shè)計是為了滿足當(dāng)前數(shù)字音視頻以及網(wǎng)絡(luò)傳輸為核心的DSP發(fā)展需要。目前DVE-2的應(yīng)用范圍很廣，它包括了MPEG／JPEG視頻／圖像的壓縮、解壓以及視頻電話與視頻會議等等。 ?。ǘ┲朴哅PEG-4基本碼流的同步方案 同步層打包，是指流在同步層中的一個基本碼流被映射成一個帶有時間標記的數(shù)據(jù)包序列，它是將基本的流數(shù)據(jù)進行整理在一起后，把其變成訪問單元AU或者訪問單元的一部分，每路同步層對應(yīng)相應(yīng)的一路基本流。基本碼流接口就是很好地對打包信息的抽象接口進行描述，而打包信息用來在產(chǎn)生基本碼流的實體和同步層之間的交換信息的。 我們所說的同步層打包流，是通過一種傳輸機制被傳輸?shù)?，而且該傳輸機制并不是在MPEG-4的標準范圍之內(nèi)，它僅僅只在DMIF應(yīng)用接口(DAI)中被描述，而DAI可以對同步層和傳輸機制間對指定的信息進行交換，該種傳輸機制就是同步層產(chǎn)生的數(shù)據(jù)包的組幀。 對于SL數(shù)據(jù)包，它是這樣的數(shù)據(jù)包，即同步層指定基本碼流數(shù)據(jù)進行打包，然后打包成訪問單元或者是把它當(dāng)成訪問單元的一部分的語法。對于一個音頻流，一般情況下一個訪問單元只對應(yīng)一個音頻幀；同樣，對于一個視頻流，一般情況下一個訪問單元也只對應(yīng)一個視頻幀。而對于AU單元，它們的內(nèi)容由于不透明性，這就意味著同步層對基本碼流數(shù)據(jù)的打包是以AU單元為單位進行的，并且它是同步層中唯一需要在端到端保護的語義數(shù)據(jù)。一個SL的數(shù)據(jù)包，它是由一個數(shù)據(jù)包和一個包頭有效載荷組合而成。對于包頭來說，它是可以防止數(shù)據(jù)丟失的連續(xù)性提供檢驗的方法，并且攜帶有表示時間戳和相關(guān)信息的編碼。對于該數(shù)據(jù)包并不包含長度信息，而長度信息會留給傳輸協(xié)議層加入，因為它需要采用合適的低層協(xié)議來進行組幀，不然就是不可以對其進行存儲和解碼的。 （三）對音視頻的同步系統(tǒng)模塊進行設(shè)計 對于模擬音頻信號來說，它是通過使用音頻編解碼芯片來實現(xiàn)數(shù)字音頻信號的轉(zhuǎn)換，然后把轉(zhuǎn)換好的信號輸入PNXl300，對其進行G.722語音信號的編碼。該系統(tǒng)并不需要在板子上同時實現(xiàn)編解碼，而只是需要將輸入的模擬音頻信號通過A／D轉(zhuǎn)換之后，然后把轉(zhuǎn)換好的信號輸入PNXl300芯片內(nèi)編碼成G.722的SB.ADPCM碼流，該碼流加上同步層的包頭，就可以形成SL音頻包，從而就可以實現(xiàn)和視頻的同步。 對視頻數(shù)據(jù)的采集，它是通過一個視頻輸入定時中斷函數(shù)VI來實現(xiàn)的。通常我們把視頻數(shù)據(jù)都儲存在可以進行高速讀寫的SDRAM中，這樣就可以大幅度地提升系統(tǒng)的實時響應(yīng)速度，這樣也就使其特別適用于實時應(yīng)用的同步環(huán)境。同時，對所采集的數(shù)據(jù)要經(jīng)過亞采樣，這樣就使得采集的數(shù)據(jù)從Yuv4：2：2格式轉(zhuǎn)換成為YUV4：2：0格式，最后被轉(zhuǎn)換的數(shù)據(jù)就被送到編碼器進行編碼。 ?。ㄋ模㎝PEG-4的音視頻同步的實現(xiàn) 為了能夠得到想要的流暢的語音以及視頻信息，我們首先就應(yīng)該考慮對多媒體的同步問題進行解決。在一般情況下可以把一個流媒體視頻系統(tǒng)劃分為五個主要的部分：媒體進行數(shù)據(jù)的采集、編碼的壓縮、網(wǎng)絡(luò)的傳輸、解碼以及媒體表現(xiàn)。為了使音視頻同步達到預(yù)定的效果，就需要對各個部分采取相應(yīng)的策略。 作為處在接收端的音頻信號與視頻信號的同步而言。就需要在收到音頻、視頻數(shù)據(jù)之后，把音頻、視頻數(shù)據(jù)分別放到語音播放緩沖區(qū)和視頻播放緩沖區(qū)中，并且要定時從音頻緩沖區(qū)中提取音頻數(shù)據(jù)來進行播放，在視頻播放的過程中，如果發(fā)現(xiàn)所取出的音頻時間戳和視頻的時間戳相當(dāng)?shù)奈呛?，在這種情況下就可以同時播放相應(yīng)視頻。由于每個人的聽覺相對較視覺而言敏感，因此在固定頻率聲音播放時，如果出現(xiàn)暫時的停頓或者速率忽高忽低都使人難以接受?？芍?，在對于音視頻進行同步處理時，音頻數(shù)據(jù)就應(yīng)該起到主導(dǎo)的作用，而視頻數(shù)據(jù)就必須以音頻作為參考。 五、經(jīng)驗總結(jié) 總而言之，隨著信息化腳步的不斷加快，人們對音頻視頻信號同步的要求也越來越強烈。而如果想實現(xiàn)音頻和視頻的同步，就需要使音視頻信號的同步采集、壓縮、傳輸以及同步播放這五個主要的部分上下工夫，來解決音視頻不同步的問題。 參考文獻： [1]儀雄,余松煜,莊建敏.MPEG-2傳輸流中的時間信息與音視頻同步[J].紅外與激光工程,2000 [2]鄭慶華.分布式多媒體同步中表現(xiàn)質(zhì)量的參數(shù)計算[J].通訊學(xué)報,1999 [3]常義林,楊付正.H.323同步控制實現(xiàn)研究[J].通信學(xué)報,2004 [4]齊麗鳳,陳賀新,趙巖.一種新的音視頻信號同步編碼算法[J].儀器儀表學(xué)報,2007 [5]張明,張正蘭.分布式多媒體系統(tǒng)的關(guān)鍵問題探討與研究[J].小型微型計算機系統(tǒng),2001 |
|
|
