|
香農定理是信息論的主要內容。香農定理實際上是多個定理構成，國內似乎比較常用“香農三定理”的提法，而在國外資料很少這么提. 信息論和香農定理信息論研究信息的量化，存儲和傳播。最初由克勞德·香農于1948年提出，他在具有里程碑意義的題為《通訊的數(shù)學原理》的論文中闡述了信號處理和通信操作（如數(shù)據(jù)壓縮）的基本限制。信息論的基本的應用主題包括無損數(shù)據(jù)壓縮（例如ZIP文件），有損數(shù)據(jù)壓縮（例如MP3和JPEG）和信道編碼（例如用于DSL）。 信息論的一個關鍵量是“熵”。熵是不確定性的定量描述。例如，擲骰子的可能性。信息論中還討論的其他一些重要的量包括：互信息、信道容量、誤差指數(shù)和相對熵等等。 上圖：克勞德·艾爾伍德·香農-1916.4.30-2001.2.24,享年84歲。美國。專業(yè)領域：電子工程學和數(shù)學。 香農定理涉及這三個部分：
但國內資料常說的“香農三定理”是指前兩個部分所涉及的的三個定理，下面主要詳述這三個定理： 有噪音的模擬信道編碼定理（國外資料一般稱“香農-哈特利定理”）注意：這個定理在國外資料中才通常被簡稱為“香農定理” 這個定理通俗地說，就是首先表明了如果傳輸信息的信道存在噪音，但是也可以實現(xiàn)信息的傳遞，然后可以根據(jù)帶寬等參數(shù)計算出信息傳遞的最大的有效速率。 這可以通俗地類比我們熟悉的語音通話，雖然在電話里面有很多電流噪音或者環(huán)境噪音，但是我們仍然可以聽懂對方講的話。因為我們用語音和語言對信息進行了雙重的編碼， “語音”這種編碼可以在大量噪音干擾的情況下仍然能夠工作，那是因為我們的聲音通常有一個帶寬，但噪音往往只是某一個頻率的聲音，不一定能夠覆蓋我們嗓音的全頻段。因此即便低音或高音被噪音干擾，我們仍然能聽到對方在說什么。而另一方面，如果對方聽不清楚，我們還可以提高嗓門來提升我們說話的“信噪比”，從而保證對方能夠聽清楚我們所說的話。 上圖：有噪信道編碼定理的計算公式，可以用打電話的例子來解釋一下。嗓音越高，噪音越低，嗓音越渾厚（而不是尖利，尖利的嗓音所用的頻段要少一點），就越容易被聽清楚。[頭條·小宇堂] 可變長無失真信源編碼定理（無損編碼）通俗地說就是我們今天用到的各種無損編碼算法——我們現(xiàn)在用的ZIP,RAR壓縮，以及APE，F(xiàn)LAC等編碼算法都屬于無損壓縮，采用這些算法可以在不損失原有信息的情況下減少存儲這些信息的數(shù)據(jù)量。 這個原理通俗點說就像是對一疊紙牌：
如果用前面語音通話的例子來說明的話，就是某人口吃說了很多重復話，諸如：“我我我我對你很很很景景景仰……”，可以無損地編碼為“我對你很景仰……”，這就是無損壓縮，但完全不損失需要表達的信息（其實也丟失了口吃重復數(shù)量的信息，嚴格地說應該編碼成“我4對你很3景3仰……”）。 有損信源編碼定理，又稱傳輸率-扭曲定律該定理通俗的解釋可以沿用前面語音通話的例子，我們用“語音”的編碼方式規(guī)避了信道噪音，此外我們還可以用“語言”編碼的方式“長話短說”來讓對方大概了解我要表達的意思。 例如：“我對你的景仰，猶如長江之水滔滔不絕，如黃河泛濫一發(fā)”這句話，可以壓縮成“我好敬仰你”這五個字，如果打電話這么說就省時間和電話費了（例如國際或者星際長途）。但是這個壓縮的過程是丟失了信息的，諸如那種“滔滔不絕”和“泛濫一發(fā)”的情態(tài)和趕腳就沒有了。 所以有損壓縮是在設定的一個信息丟失率標準之下來尋找一個滿足此要求的算法，香農告訴你你一定找得到，就這么個意思。 所以，如果你對剛才那句表達景仰的話的“保真率”要求提高一點，可以這么編碼：“我對你的景仰猶如長江黃河之水泛濫不絕”。[頭條·小宇堂] 當然要保真，“成本”就高了，就得多花點時間說和更多的電話費。 上圖：無損（上）和有損（下）壓縮的差異比較。有損壓縮可以有更大的壓縮率，但是還原之后損失了信息量。 總結我們用語音通話的例子來通俗地解說香農定理，請?zhí)貏e注意“語音”和“語言”兩種編碼方式，分別對應香農定理當中的“信道編碼”和“信源編碼”兩個不同的部分。語音是解決傳輸過程中噪音問題而做的編碼（如果是通過心靈感應就沒這個需求了）；語言編碼則可以是有損或者無損壓縮的，甚至是不壓縮的（就讓他結巴吧）。 香農定理或者說香農的理論對旅行者號深空任務的成功，光盤的發(fā)明，手機通訊的可行性，互聯(lián)網(wǎng)的發(fā)展，語言學和人類感知的研究，乃至對黑洞的理解和許多其他領域都有非常深遠的影響。 |
|
|
來自： 挑燈看劍r7wtm5 > 《科學》
