|
仙農(nóng) 張奠宙 (華東師范大學(xué)) 仙農(nóng)，C．E．(Shannon， Claude Elwood)1916年4月30日生于美國(guó)密歇根州蓋洛德(Gaylord)．?dāng)?shù)學(xué)、信息論． 1916年4月30日，仙農(nóng)出生于美國(guó)密歇根州的蓋洛德，他于1932年入密歇根大學(xué)就讀，1936年畢業(yè)后去麻省理工學(xué)院任電機(jī)工程和數(shù)學(xué)助教．1939年獲得麻省理工學(xué)院的波勒斯研究席位(Boweles Fellow)，全力從事中繼和轉(zhuǎn)換網(wǎng)絡(luò)理論的研究．一年后，以?xún)?yōu)異的研究成果在該院取得電機(jī)工程技術(shù)碩士和數(shù)學(xué)博士學(xué)位．1940—1941年間，由美國(guó)國(guó)家研究委員會(huì)資助去普林斯頓大學(xué)從事研究工作．此后即以數(shù)學(xué)家身分加入貝爾電話(huà)實(shí)驗(yàn)室．仙農(nóng)的主要科學(xué)工作都是在這里完成的．1956年回到麻省理工學(xué)院任訪問(wèn)教授，但仍兼任貝爾電話(huà)實(shí)驗(yàn)室的顧問(wèn)直至1972年．從1958年起，仙農(nóng)就任麻省理工學(xué)院的冬納(Donner)科學(xué)教授．1980年退休． 仙農(nóng)有許多學(xué)術(shù)榮譽(yù)．1956年當(dāng)選為美國(guó)國(guó)家科學(xué)院院士，以及美國(guó)藝術(shù)和科學(xué)學(xué)院的院士．他曾獲得佛蘭克林研究所的巴蘭亭獎(jiǎng)?wù)?Ballantine Medal，1955)，美國(guó)工業(yè)電子工程協(xié)會(huì)頒發(fā)的凱萊獎(jiǎng)(Mervin J．Kelly Award，1955)，美國(guó)全國(guó)科學(xué)研究合作獎(jiǎng) (National Research Corporation Award，1956)，萊伯曼紀(jì)念獎(jiǎng)(Morris Leibmann Memory Award，1958)，美國(guó)電機(jī)和電子工程協(xié)會(huì)的榮譽(yù)獎(jiǎng)?wù)?Medal of Honor，IEEE，1966)，美國(guó)技術(shù)協(xié)會(huì)的哈維獎(jiǎng)(Harvey Prize)，仙農(nóng)被選為比利時(shí)皇家科學(xué)院和荷蘭皇家藝術(shù)科學(xué)學(xué)院的院士．他還是牛津大學(xué)等許多高等學(xué)府的榮譽(yù)博士． 仙農(nóng)早在30年代末就作出了重要的工作．1938年他還是研究生，就發(fā)表了經(jīng)典性論文“中繼與開(kāi)關(guān)電路的符號(hào)分析”(Sym-bolic analysis of relay and switching circuits)，在該文中他指出了符號(hào)邏輯的真值表和電路的0，1二進(jìn)位制運(yùn)算表是一致的，以及如何按布爾代數(shù)的命題，用開(kāi)關(guān)電路構(gòu)造一個(gè)與之相應(yīng)的“邏輯機(jī)”．后來(lái)的“邏輯代數(shù)”、“開(kāi)關(guān)代數(shù)”、“布爾代數(shù)與自動(dòng)機(jī)”等研究，都可溯源于這項(xiàng)工作．有關(guān)的工作后來(lái)都反映在他和J．麥克卡賽(McCarthy)合編的文集(文獻(xiàn))中．大約也是在這時(shí)，仙農(nóng)造了一個(gè)新名詞“比特(bit)”，后來(lái)被人們廣泛地用作度量“信息”的單位． 仙農(nóng)的主要貢獻(xiàn)是創(chuàng)立了經(jīng)典信息論．他在貝爾電話(huà)實(shí)驗(yàn)室從數(shù)學(xué)上和技術(shù)上研究“通信”、“信息”、“消息”等概念，其頂點(diǎn)則是1948年在《貝爾系統(tǒng)技術(shù)雜志》上發(fā)表“通信的數(shù)學(xué)理論”．這篇分兩期刊出、長(zhǎng)達(dá)80余頁(yè)的文章成了信息論的開(kāi)端．論文很難讀．1949年，由W．韋佛(Weaver)注釋后出版了單行本． 信息論在1984年取得成功并不是偶然的．這時(shí)，數(shù)學(xué)上的概率論、數(shù)理統(tǒng)計(jì)、數(shù)理邏輯、運(yùn)籌學(xué)，工程上的通信技術(shù)、電子技術(shù)、自動(dòng)控制技術(shù)等都在逐漸成熟．計(jì)算機(jī)出現(xiàn)了，統(tǒng)計(jì)力學(xué)、量子力學(xué)、生物學(xué)提供了重要的科學(xué)方法．仙農(nóng)正是站在前人的肩膀上看到了曙光． 仙農(nóng)首先采用嚴(yán)密的數(shù)學(xué)方法，對(duì)信源、信息、信息量、信道、編碼、解碼、傳輸、接收、濾波等一系列基本概念，進(jìn)行嚴(yán)格的數(shù)學(xué)描述和定量度量，使得信息研究由粗糙的定性分析階段進(jìn)入精密的定量階段，并因此而發(fā)展成一門(mén)真正的科學(xué)學(xué)科． 對(duì)莫爾斯電報(bào)編碼的研究將會(huì)導(dǎo)致用概率觀念考察信息．比如，在英文電報(bào)中，“字母E的出現(xiàn)概率比Q大得多，序列TH出現(xiàn)的概率比XP大得多．”由此仙農(nóng)進(jìn)一步注意到：“通信的基本問(wèn)題是在消息的接收端精確地或近似地復(fù)現(xiàn)發(fā)送端所挑選的消息．通常的消息是有意義的，……而通信的語(yǔ)義方面問(wèn)題和工程問(wèn)題是沒(méi)有關(guān)系的．”“重要的是，一個(gè)實(shí)際信息總是從可能消息的集合中選擇出來(lái)的．”這就是說(shuō)，仙農(nóng)認(rèn)識(shí)到兩個(gè)要點(diǎn)：(1)通訊工程與語(yǔ)義無(wú)關(guān)；(2)通信系統(tǒng)所處理的信息本質(zhì)上是隨機(jī)的．于是他想到“信息是可用來(lái)消除不肯定的東西”，并嘗試采用概率方法給信息量下精確定義．設(shè)信息源有n個(gè)不同的符號(hào)。x1，x2…xn，它們出現(xiàn)的概率分別為p1(x1)，p2(x2)…pn(xn)．仙農(nóng)引入信息熵的概念： 其中K是某一常數(shù)，它表示信息源的某種不確定程度，成為信息量的一種量度．信息熵借用了19世紀(jì)熱力學(xué)第二定律中熱力熵的想法．這里，仙農(nóng)不把信息看作有意義的消息，而是當(dāng)作信息源中各元素符號(hào)組合成消息時(shí)的自由度，即各元素符號(hào)相繼出現(xiàn)的不肯定程度．顯然，自由度越大，信息量也越大．比如，如果a的后面只能出現(xiàn)b，沒(méi)有自由選擇的機(jī)會(huì)，那么消息a和ab的信息量是一樣的．所以，用不肯定度(或自由度，或混亂程度)來(lái)刻畫(huà)信息量，是很自然的事．正是這一革命性的思想，成了經(jīng)典信息論的基石．信息量的定義中的對(duì)數(shù)若以2為底，其單位被仙農(nóng)稱(chēng)為比特，而當(dāng)取10或e為底時(shí)，相應(yīng)的單位稱(chēng)為迪西特(decit)與奈特(nat)． 仙農(nóng)用隨機(jī)觀念考察通信理論，確實(shí)是一項(xiàng)重大的突破．20世紀(jì)初蓬勃發(fā)展的概率論和數(shù)理統(tǒng)計(jì)為信息論提供了合適的數(shù)學(xué)工具．他指出：“離散信源是一個(gè)一個(gè)符號(hào)地產(chǎn)生消息的．相繼符號(hào)的選擇是根據(jù)某些概率，而通常這些概率取決于前面符號(hào)的選擇及待選的符號(hào)．任何一個(gè)能產(chǎn)生由一組概率控制的符號(hào)序列的物理系統(tǒng)，或物理系統(tǒng)的數(shù)學(xué)模型都可稱(chēng)為隨機(jī)過(guò)程．”這樣一來(lái)，平穩(wěn)隨機(jī)過(guò)程、統(tǒng)計(jì)相關(guān)理論等數(shù)學(xué)成果迅速轉(zhuǎn)移到通信過(guò)程的研究領(lǐng)域中來(lái)．仙農(nóng)描述的通信系統(tǒng)是： 信源：由一個(gè)消息符號(hào)表X和X上的概率分布p(x)表示． 編碼：把信源消息變?yōu)榭上蛐诺垒斎氲男盘?hào)的運(yùn)算．?dāng)?shù)學(xué)上指函數(shù)fn：Xn→Un。 信道：由輸入(拍發(fā))信號(hào)集合U，輸出(接收)信號(hào)集合V，轉(zhuǎn)移概率分布矩陣p(u v)構(gòu)成．其中p(u v)為拍發(fā)u條件下接收為v的概率． 譯碼：把信道接收信號(hào)還原為信源消息的運(yùn)算，即gn：Vn→Xn。 仙農(nóng)對(duì)信息論的又一貢獻(xiàn)，是對(duì)信道最大容量的描述和研究．信道容量是指每秒在信道中可通過(guò)C個(gè)單位．今有每秒輸出H個(gè)單位的信源，他提出的一個(gè)結(jié)論是：在沒(méi)有噪聲干擾的情況下，符號(hào)傳輸?shù)钠骄俾视幸粋€(gè)上限C/H，它可以逼近，但不能超越．為了將這一定理推廣到具有噪聲干擾的實(shí)際情形，仙農(nóng)將兩種不肯定性加以區(qū)別．一種是由誤發(fā)和噪聲干擾產(chǎn)生的“不需要的”不肯定性，另一種是信源本身所具有的“需要的”不肯定性．于是，有用的信息應(yīng)為信源的不肯定性減去噪聲帶來(lái)的模糊性．仙農(nóng)指出：當(dāng)C＞H時(shí)，傳輸誤差可以變得很?。欢?dāng)C小于H時(shí)，誤差就難以控制了．因此，“不需要的”不肯定性必須大于或等于H－C．最后，至少有一種編碼能降低噪聲引起的模糊程度，使之非常接近H－C．仙農(nóng)給出了這一重要定理的嚴(yán)格表述： 信息論基本定理．已知一個(gè)具有容量C＞0的平穩(wěn)無(wú)記憶通道，以及取自一個(gè)遍歷信源的任意信號(hào)(數(shù)據(jù))，則對(duì)任一ε＞0和正數(shù)R(0＜R＜C)，必存在充分長(zhǎng)的編碼信號(hào)(a1，a2…an)，它以傳輸速率R傳遞數(shù)據(jù)，同時(shí)譯碼錯(cuò)誤的概率小于ε． 仙農(nóng)的信息論研究先處理離散的隨機(jī)變量，而后很容易地推廣到連續(xù)的情形，幾乎無(wú)需作重大修改． 仙農(nóng)在1948年發(fā)表的原始論文，并未期望對(duì)通信系統(tǒng)會(huì)有廣泛的工程技術(shù)應(yīng)用．然而人們很快就意識(shí)到仙農(nóng)所提供的工具對(duì)實(shí)際通信十分有效．例如，通信中常有一些信息是多余的．我們?cè)诖螂妶?bào)時(shí)，總是努力壓縮字?jǐn)?shù)以減少多余．但是仙農(nóng)指出，信息的多余往往是有用的，消滅多余倒未必有利．英語(yǔ)中的多余度約為百分之五十．例如，一條消息“To err is human”(人孰無(wú)過(guò))經(jīng)傳輸后接收為“Too err is fuman”，一般有些知識(shí)的人都能讀懂，可是如果拍發(fā)“Yanks beat reds”而接收成“Yanks beat rebs”，雖然只錯(cuò)一個(gè)字母(d變成b)，意思卻沒(méi)法猜了．這是因?yàn)閮蓷l消息的多余度不同． 仙農(nóng)在1948年發(fā)表的原始論文，“猶如一顆重磅炸彈起爆，震憾了科學(xué)界”．全新的思想，獨(dú)創(chuàng)的方法，一時(shí)成為人們爭(zhēng)相仿效的典范．它不僅在理論上十分精致和漂亮，而且為許多工程技術(shù)問(wèn)題的解決提供了新工具，帶來(lái)了新的希望，具有很高的實(shí)用價(jià)值．然而，也有一些情況不大正常．1956年，仙農(nóng)曾這樣說(shuō)：“近幾年來(lái)，信息論簡(jiǎn)直成了最時(shí)髦的學(xué)科．它本來(lái)只是通信工程師所采用的一種技術(shù)手段，但現(xiàn)今竟然在普通雜志和科學(xué)刊物上都會(huì)占有重要地位．……它已名過(guò)其實(shí)．許多不同學(xué)科的同事們，或因慕其名，或希望尋求科學(xué)分析的新途徑，都把新興理論引入各自的領(lǐng)域．總之，現(xiàn)在信息論已經(jīng)名聲在外．這種聲譽(yù)固然使我們本學(xué)科的人感到愉快和興奮，但也孕育著一種危險(xiǎn)……信息論決不是通信工作的萬(wàn)靈藥方，而對(duì)其他人則更是如此．要知道，一次就能打開(kāi)全部自然奧秘的事情，是十分罕見(jiàn)的．否則，人們一旦知道僅僅用幾個(gè)像信息、熵、多余度這樣一些動(dòng)人字眼并不能解決全部問(wèn)題的時(shí)候，就會(huì)大失所望．那種人為的繁榮就會(huì)在一夜之間突然崩潰．” 仙農(nóng)的忠告在50年代后半期受到重視，使信息論的發(fā)展走上更健康的軌道．過(guò)去的幾十年，現(xiàn)代的信息技術(shù)在仙農(nóng)的基礎(chǔ)上迅猛發(fā)展，諸如信號(hào)的數(shù)學(xué)化、微波技術(shù)、衛(wèi)星通信都成為巨大的產(chǎn)業(yè)．由于電子計(jì)算機(jī)的長(zhǎng)足發(fā)展和迅速普及，信息科學(xué)正向醫(yī)學(xué)、生物學(xué)、遺傳工程、語(yǔ)言學(xué)、心理學(xué)、管理科學(xué)、經(jīng)濟(jì)學(xué)等幾乎所有的社會(huì)科學(xué)和自然科學(xué)的各個(gè)學(xué)科滲透、溶合，甚至滲入到人們的日常生活之中，這種情形，在數(shù)學(xué)史乃至整個(gè)科學(xué)史上都是十分罕見(jiàn)的． 仙農(nóng)在40—50年代達(dá)到科學(xué)事業(yè)的高峰，以后仍繼續(xù)有科學(xué)成果發(fā)表，也有一些較重要工作．例如，1959年的論文提出了保真度準(zhǔn)則下的離散信源編碼定理，以后發(fā)展成“信息率失真論”，成為頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)．1967年還看到他和別人合作發(fā)表文章．此后他漸漸退出歷史舞臺(tái)．1980年退休之后，住在波士頓安度晚年． |
|
|
來(lái)自： l1hf > 《數(shù)學(xué)家》
