在人工智能盛行的今天，當(dāng)絕大多數(shù)人僅對(duì)“奇巧淫技”感興趣的時(shí)候，集智俱樂部重新編輯推出馮·諾依曼自動(dòng)機(jī)理論這系列文章，這是著名人工智能先驅(qū)Arthur Burks整理的馮·諾依曼的手稿《自復(fù)制自動(dòng)機(jī)理論》的第一部分，該部分詳細(xì)論述了思考自復(fù)制自動(dòng)機(jī)的動(dòng)機(jī)與意義。該文后經(jīng)由集智俱樂部資深粉絲“東方和尚”翻譯成中文，并由張江注釋后奉獻(xiàn)給廣大讀者。希望通過溯本清源，我們能夠重新追溯馮·諾依曼的思考軌跡，從全新的視角審視人造機(jī)器的生命本質(zhì)。

前言與編者介紹 自復(fù)制自動(dòng)機(jī)前言

　　馮·諾依曼在計(jì)算機(jī)方面的工作

　　馮·諾依曼的自動(dòng)機(jī)理論

第一部分：復(fù)雜自動(dòng)機(jī)的組織與理論

　　第一堂課：一般意義的計(jì)算機(jī)

　　第二堂課：控制與信息理論

　　第三堂課：信息的統(tǒng)計(jì)理論

　　第四堂課：大數(shù)之道

　　第五堂課：復(fù)雜自動(dòng)機(jī)的一些考量——關(guān)于層次與進(jìn)化的問題

世人只知道馮·諾依曼是第一臺(tái)計(jì)算機(jī)的發(fā)明者。但這種認(rèn)識(shí)既不正確又遠(yuǎn)遠(yuǎn)低估了這位偉大數(shù)學(xué)家對(duì)人類的價(jià)值。首先，史上第一臺(tái)計(jì)算機(jī)ENIAC并非馮·諾依曼發(fā)明，而被馮·諾依曼進(jìn)行了大刀闊斧的改造形成了EDVAC計(jì)算機(jī)，而這臺(tái)機(jī)器的設(shè)計(jì)架構(gòu)才是沿用至今的馮·諾依曼體系結(jié)構(gòu)。因此馮·諾依曼是第一臺(tái)計(jì)算機(jī)的改造者，但改造是如此天才和成功才讓馮·諾依曼的名字為人熟知。其次，馮·諾依曼的價(jià)值被世人遠(yuǎn)遠(yuǎn)低估。我們所熟知的計(jì)算機(jī)體系架構(gòu)的發(fā)明僅僅是他利用坐火車的“業(yè)余時(shí)間”而設(shè)計(jì)出的成果。他的“業(yè)余產(chǎn)物”還包括如今被經(jīng)濟(jì)學(xué)家、政治學(xué)家奉為經(jīng)典的博弈論。而幾乎沒人直到，馮·諾依曼真正關(guān)心的問題全部是人類科學(xué)的基礎(chǔ)理論難題而非應(yīng)用科學(xué)，然而他先是與“哥德爾定理”的發(fā)現(xiàn)擦肩而過；后來又被物理學(xué)家狄拉克搶去了他在量子力學(xué)領(lǐng)域的風(fēng)頭。事實(shí)上，他的《量子力學(xué)的數(shù)學(xué)基礎(chǔ)》一書直到五十年后才被人發(fā)現(xiàn)是奠定了“量子信息”基礎(chǔ)的理論經(jīng)典。更有趣的是，馮·諾依曼雖然一直研究基礎(chǔ)數(shù)學(xué)和一些應(yīng)用科學(xué)，但他的一生曾在六大重大哲學(xué)問題上都做出過貢獻(xiàn)，這其中就包括他對(duì)生命本原的理解。也許是為了洗滌他在制造原子彈的“曼哈頓”工程中的罪惡之心，他將人生最后的輝煌全部奉獻(xiàn)給了人工生命的研究，并最終在未能完成夙愿的情況下英年早逝。

只要你對(duì)馮·諾依曼所取得的研究成果稍加瀏覽，你一定立即被其研究之深度和廣度所震撼。尤其顯得與眾不同的是，馮·諾依曼的成就涵蓋了從理論到實(shí)踐的廣闊的領(lǐng)域。而且他還可以很好地將理論和實(shí)際結(jié)合起來，他是第一個(gè)認(rèn)識(shí)到計(jì)算機(jī)技術(shù)可能引發(fā)技術(shù)革命，也會(huì)對(duì)人類生存的環(huán)境（例如天氣）進(jìn)行預(yù)測(cè)與干預(yù)的人。之所以馮·諾依曼可以在很多不同的領(lǐng)域做出突出貢獻(xiàn)，主要原因是他可以根據(jù)自己的興趣把很多完全不同的能力綜合起來。他的超強(qiáng)理解和記憶能力可以很快地吸收、組織、保留和使用大量的信息。而廣泛的興趣又使他能夠接觸到很多領(lǐng)域的工作。他是一個(gè)解決各種困難問題的高手（virtuoso），并且可以用他自己的方法深入分析，直到觸及各種問題的本質(zhì)。

廣泛的興趣是馮·諾依曼作為一位偉大的數(shù)學(xué)家的最出眾之處，這還使他成為了一位最卓越的應(yīng)用數(shù)學(xué)家。他一方面對(duì)各種自然科學(xué)問題和工程實(shí)踐問題非常熟悉，另一方面也非常擅長抽象的純數(shù)學(xué)方法。他的這種與科學(xué)家和工程師們溝通的能力在數(shù)學(xué)家中是很罕見的。他曾虛心學(xué)習(xí)歷史以及科學(xué)研究方法，并探討它們與純數(shù)學(xué)的關(guān)系[25]。由于這樣的一種背景和性格，馮·諾依曼能夠開創(chuàng)關(guān)于計(jì)算機(jī)的一般理論就是非常自然的事情了。馮·諾依曼觀察到計(jì)算機(jī)和自然界中的生命之間存在著重要的相似性，把這樣兩個(gè)不同的但是卻密切相關(guān)的系統(tǒng)做比較，可以帶來很多的啟發(fā)。所以他開始尋找一套可以概括這兩種系統(tǒng)的理論，并將自己的這個(gè)系統(tǒng)理論稱為“自動(dòng)機(jī)理論”。自動(dòng)機(jī)理論包含了人工與生物系統(tǒng)的結(jié)構(gòu)與組織，在這些系統(tǒng)中語言與信息的作用，以及對(duì)這類系統(tǒng)的編程與控制等內(nèi)容。在本文集中的第一部分和第二部分的第一章和第二章中，有多處討論了自動(dòng)機(jī)理論的內(nèi)容。

馮·諾依曼早期在計(jì)算機(jī)設(shè)計(jì)和編程方面的研究工作使得他認(rèn)識(shí)到，數(shù)理邏輯會(huì)在新的自動(dòng)機(jī)理論中起到重要作用。但是，由于其他的一些原因（我們?cè)诤竺鏁?huì)提到），他認(rèn)為現(xiàn)有的數(shù)理邏輯雖然在自動(dòng)機(jī)理論不無用處，但是還不足以成為他的這種特別的自動(dòng)機(jī)的核心邏輯。取而代之，他相信自動(dòng)機(jī)的新邏輯將更類似于概率論、熱力學(xué)和信息論。因此馮·諾依曼的自動(dòng)機(jī)理論從一開始就具有明顯的跨學(xué)科特征。

不幸的是，由于馮·諾依曼過早去世，他并沒有完成他的自動(dòng)機(jī)理論。在他關(guān)于這個(gè)主題的最后 工作中，他提到“如果我們能夠談?wù)撨@樣的一套自動(dòng)機(jī)理論就好了，然而，令人遺憾的是，直到現(xiàn)在這套理論也僅僅是對(duì)‘經(jīng)驗(yàn)的總結(jié)’。”[26]盡管如此，在這個(gè)領(lǐng)域，馮·諾依曼的研究還是當(dāng)之無愧的開山鼻祖。他概述了自動(dòng)機(jī)理論的輪廓：它的結(jié)構(gòu)、內(nèi)容以及相關(guān)的問題、 應(yīng)用以及數(shù)學(xué)形式；他比較了人工自動(dòng)機(jī)與生物自動(dòng)機(jī)；最后，他形式化地給出了兩個(gè)自動(dòng)機(jī)理論的基本問題并初步進(jìn)行了解答，這就是：一個(gè)可靠的系統(tǒng)是如何利用不可靠的元件構(gòu)造的？什么是一個(gè)自復(fù)制自動(dòng)機(jī)的基本邏輯構(gòu)成？第一個(gè)問題在他的文章“概率邏輯以及如何由不可靠元件合成可靠的有機(jī)體”中，第二個(gè)問題則在本文集的第一部分的第五個(gè)講座以及第二部分進(jìn)行了討論。我不知道馮·諾依曼是怎樣想到這兩個(gè)問題的，但是從他的興趣和文章來看，它們主要來源于馮·諾依曼早年在計(jì)算機(jī)領(lǐng)域的實(shí)際工作。新的電子計(jì)算機(jī)具有革命性的意義，因?yàn)榕c早期的計(jì)算系統(tǒng)（人工的、機(jī)械的以及電力的機(jī)器，或者是它們的混合）比較起來，新計(jì)算機(jī)可以做更大量的自動(dòng)而快速的計(jì)算。ENIAC、EDVAC 以及高等研究院的計(jì)算機(jī)都朝著更強(qiáng)大的計(jì)算邁進(jìn)了一大步。在求解一般的非線性偏微分方程的興趣，特別是利用方程來預(yù)測(cè)天氣，使得他自然會(huì)去尋找更強(qiáng)大的機(jī)器，并試圖突破高性能機(jī)器計(jì)算的瓶頸。作為政府和產(chǎn)業(yè)界的資深顧問，馮·諾依曼教授大大促進(jìn)了大規(guī)模計(jì)算機(jī)的設(shè)計(jì)和構(gòu)建事業(yè)。

馮·諾依曼通過比較當(dāng)時(shí)最好的計(jì)算機(jī)與自然界中最智慧的生命得出結(jié)論：至少有三個(gè)因素可能制約了工程師們建造更加強(qiáng)大的計(jì)算機(jī)的能力：可用元件的尺寸，這些元件的可靠性，以及對(duì)計(jì)算元件如何組成復(fù)雜的邏輯結(jié)構(gòu)的理論缺乏了解。馮·諾依曼關(guān)于元件部分的工作是對(duì)第一個(gè)困境的解決，而他關(guān)于可靠性和自復(fù)制自動(dòng)機(jī)方面的工作分別是對(duì)第二個(gè)和第三個(gè)局限的挑戰(zhàn)。在他的《概率邏輯：從不可靠組件合成可靠整體》的文章中，給出了兩種克服元件不可靠性的方法：不是將這些元件變得更可靠，而是通過變換組合它們的方式使得計(jì)算機(jī)整體變得更加可靠。他把他這部分的工作視作是一種概率邏輯，這也是沿著自動(dòng)機(jī)邏輯方向邁出的第一步。他關(guān)于自復(fù)制的工作也屬于復(fù)雜自動(dòng)機(jī)理論。他認(rèn)為那些具有很大復(fù)雜性的系統(tǒng)中存在著定性的新規(guī)律，而這種新規(guī)律可以通過對(duì)強(qiáng)烈依賴于復(fù)雜性的自復(fù)制現(xiàn)象的研究而獲得。而且，我們知道自復(fù)制和自修復(fù)的聯(lián)系非常緊密，因此對(duì)自復(fù)制現(xiàn)象的研究將有助于我們解決可靠性的問題。這就解釋了為什么馮·諾依曼會(huì)對(duì)復(fù)雜自動(dòng)機(jī)非常感興趣，他希望得到一個(gè)關(guān)于由計(jì)算元件構(gòu)成的復(fù)雜系統(tǒng)的，關(guān)于其邏輯結(jié)構(gòu)的理論。他認(rèn)為可靠性和自復(fù)制的問題與復(fù)雜自動(dòng)機(jī)密切相關(guān)。另外，還有兩個(gè)相關(guān)的因素。首先，馮·諾依曼相信我們應(yīng)該從那些可以被清晰描述的問題，甚至是我們熟悉的日?，F(xiàn)象入手開始建立一門新科學(xué)，這些經(jīng)驗(yàn)的積累可以進(jìn)一步發(fā)展出一套嚴(yán)格的理論去解釋這些現(xiàn)象[27]。他關(guān)于可靠性和自復(fù)制的問題就屬于這一類。第二，馮·諾依曼相信復(fù)雜自動(dòng)機(jī)的恰當(dāng)理論將有助于解決計(jì)算機(jī)能力瓶頸的問題。他明確地指出，除非我們有了一個(gè)關(guān)于自動(dòng)機(jī)的足夠深刻的理論，否則計(jì)算機(jī)的復(fù)雜度和能力就有一個(gè)極限，而我們很難突破這個(gè)極限。[28]

生物與人工自動(dòng)機(jī)通過考察兩種主要類型的自動(dòng)機(jī)：人工的和生物自動(dòng)機(jī)，我們就可以明白馮·諾依曼的自動(dòng)機(jī)理論的范圍以及它的跨學(xué)科的特性。模擬與數(shù)字計(jì)算機(jī)是最重要的一類人工自動(dòng)機(jī)，但通訊或信息處理目的而造的其他的人造系統(tǒng)也包括在其中，如電話和收音機(jī)廣播系統(tǒng)等。生物自動(dòng)機(jī)則包括了神經(jīng)系統(tǒng)、自復(fù)制和自修復(fù)系統(tǒng)，以及生命的進(jìn)化與適應(yīng)等特性。自動(dòng)機(jī)理論明顯一方面與通訊與控制工程相交叉，另一方面也與生物學(xué)交叉。事實(shí)上，生物與人工自動(dòng)機(jī)的范圍是非常廣的，我們自然想知道為什么自動(dòng)機(jī)理論會(huì)與這些學(xué)科不同。馮·諾依曼從來沒有討論過，但是他曾涉及到自動(dòng)機(jī)理論的邊界問題。自動(dòng)機(jī)理論與以數(shù)理邏輯以及數(shù)字計(jì)算機(jī)等學(xué)科為主導(dǎo)的領(lǐng)域非常不同。雖然該理論會(huì)在工程實(shí)踐中有大量的應(yīng)用，但是，它本身還是一個(gè)理論定律而不是實(shí)踐法則。最后，自動(dòng)機(jī)理論又與生物學(xué)不同，因?yàn)樗蛹性谥T如組織、結(jié)構(gòu)、語言、信息以及控制等問題上。

Animated images from wiki

自動(dòng)機(jī)理論尋找有關(guān)組織、結(jié)構(gòu)、語言、信息以及控制的一般性原理。很多這樣的原理都可以應(yīng)用到生物與人工系統(tǒng)中，因此把這兩類自動(dòng)機(jī)（生物與人工）作比較是一個(gè)很好的出發(fā)點(diǎn)，我們將找到并解釋這兩類不同系統(tǒng)的共同與相似之處，開發(fā)能夠描述這兩類自動(dòng)機(jī)的數(shù)學(xué)原理。例如，真值邏輯與延遲邏輯適用于計(jì)算機(jī)元件，同樣也適用于神經(jīng)元，而馮·諾依曼提出的概率邏輯也應(yīng)該可以橫跨這兩個(gè)領(lǐng)域（參見本文集的第二、三堂課）。以相似的方式，馮·諾依曼提出自復(fù)制元胞自動(dòng)機(jī)，其設(shè)計(jì)將生物機(jī)體和數(shù)字計(jì)算機(jī)聯(lián)系起來了。在這一點(diǎn)上， 自動(dòng)機(jī)理論與博弈論有著非常驚人的相似之處。經(jīng)濟(jì)系統(tǒng)可以類比為生物界，而游戲則是人類行為，博弈論包含了對(duì)于經(jīng)濟(jì)系統(tǒng)和游戲的數(shù)學(xué)原理[29]，因而把兩者聯(lián)系在一起。這一點(diǎn)正像自動(dòng)機(jī)理論包含了人工與生物自動(dòng)機(jī)的共同的數(shù)學(xué)原理一樣。

馮·諾依曼花費(fèi)了很大的精力來比較生物與人工自動(dòng)機(jī)的同異[30]。近些年來，人們對(duì)于自然界和生物學(xué)的科學(xué)知識(shí)積累非常快速，因此，現(xiàn)在如果再將它們進(jìn)行對(duì)比就會(huì)比當(dāng)年馮·諾依曼有更多的細(xì)節(jié)基礎(chǔ)，但是，無疑馮·諾依曼得到了一些非常有趣的一般性的方法和結(jié)論。我們可以將這些結(jié)論概括成如下幾個(gè)方面：（1）模擬與數(shù)字的不同；（2）基本元件所用到的物理和生物的材料；（3）復(fù)雜性；（4）邏輯組織；（5）可靠性。

（1）在馮·諾依曼的著作中，相當(dāng)?shù)钠挥糜谟懻撃M與數(shù)字的區(qū)別，并發(fā)現(xiàn)這種區(qū)別在研究自然自動(dòng)機(jī)的過程中起到了重要的向?qū)ё饔谩⒁姷谝徊糠值牡谝粋€(gè)和第四個(gè)講座。他得到的最一般的結(jié)論就是自然生命體是一種混合體，同時(shí)包含了模擬與數(shù)字過程。有很多實(shí)例可以說明這一點(diǎn)，這里僅舉兩例：神經(jīng)元是“有或無”的，因此數(shù)字真值函數(shù)邏輯是神經(jīng)行為的一種初級(jí)近似，但是神經(jīng)元的激活有有賴于空間上的刺激加總，并有疲勞不應(yīng)現(xiàn)象，這些都是連續(xù)而非離散的過程。在復(fù)雜的有機(jī)體中，數(shù)字運(yùn)算通常與模擬過程交替進(jìn)行。例如，基因是數(shù)字的，而酶是通過一種模擬的方式對(duì)功能進(jìn)行控制的。馮·諾依曼在他關(guān)于自然自動(dòng)機(jī)的知識(shí)的影響下提出了一種模擬與數(shù)字混合的計(jì)算模式[31]。這是一個(gè)將生物系統(tǒng)的研究結(jié)果用于人工系統(tǒng)設(shè)計(jì)的很好的實(shí)例。

（2）馮·諾依曼通過將現(xiàn)存的自然與人工元件對(duì)比，包括它們?cè)诔叽?、速度、能量需求以及可靠性等方面的區(qū)別，并且將這些區(qū)別、材料的可靠性以及自動(dòng)機(jī)的組織結(jié)構(gòu)聯(lián)系了起來。計(jì)算機(jī)的基本元件要比神經(jīng)元大得多，而且需要更多的能量，但是它們的速度要快很多。這些區(qū)別會(huì)影響到系統(tǒng)的組織構(gòu)成：生物自動(dòng)機(jī)是通過一種更加并行的方式工作的，而數(shù)字計(jì)算機(jī)則是串行結(jié)構(gòu)。真空管和神經(jīng)元尺寸的不同是由于它們所用材料的機(jī)械穩(wěn)定性不同而引起的。真空管要更容易被損壞卻不好修復(fù)。而當(dāng)神經(jīng)元膜受到破壞以后，會(huì)很容易地被復(fù)。馮·諾依曼計(jì)算了計(jì)算元件需要花費(fèi)的最小能量，從理論上說，計(jì)算機(jī)元件的最高效率可以達(dá)到 生物神經(jīng)元的 1010 倍。（參見第一部分的第四個(gè)講座）他所做的生物與人工元件的比較研究 無疑對(duì)他的計(jì)算機(jī)設(shè)計(jì)產(chǎn)生了影響。

（3）人，也包括天地萬物，是一種比他們能夠構(gòu)建的人工自動(dòng)機(jī)更復(fù)雜得多的生物自動(dòng)機(jī)。正是由于這種復(fù)雜性，人類對(duì)于它自己的邏輯設(shè)計(jì)的細(xì)節(jié)理解要遠(yuǎn)遠(yuǎn)比不上對(duì)他所構(gòu)建的最大型計(jì)算機(jī)的理解。馮·諾依曼認(rèn)為自動(dòng)機(jī)理論的核心概念就在于復(fù)雜性。而復(fù)雜性需要嚴(yán)格的定義。自動(dòng)機(jī)理論將會(huì)把復(fù)雜自動(dòng)機(jī)的邏輯構(gòu)成與它的行為聯(lián)系起來。這一理論將允許我們開發(fā)出人工自動(dòng)機(jī)的邏輯設(shè)計(jì)。這些人工自動(dòng)機(jī)將能夠像人類一樣執(zhí)行非常困難的任務(wù)以及非常高級(jí)的功能，甚至可以在求解非線性偏微分方程等大規(guī)模問題方面遠(yuǎn)勝于人類。在復(fù)雜系統(tǒng)中，可靠性問題異常關(guān)鍵。馮·諾依曼懷疑超復(fù)雜的系統(tǒng)會(huì)涌現(xiàn)出新的原理。例如，他認(rèn)為在一定的閾值以下，復(fù)雜度是降級(jí)的，自復(fù)制是不可能的。他設(shè)想，通常來說對(duì)于簡單自動(dòng)機(jī)，對(duì)它行為的描述要比這個(gè)自動(dòng)機(jī)自己更加簡單，但是如果自動(dòng)機(jī)非常復(fù)雜的時(shí)候，自動(dòng)機(jī)本身就會(huì)比對(duì)它的描述更加簡單了。參見第一部分的第二個(gè)講座。

（4）在討論到生物與人工元件的相對(duì)速度的時(shí)候，我們注意到生物自動(dòng)機(jī)在操作方式上更多地采用并行處理，而人工自動(dòng)機(jī)則更傾向于串行處理的方式。當(dāng)我們?cè)O(shè)計(jì)一個(gè)自動(dòng)機(jī)或者規(guī)劃一個(gè)計(jì)算任務(wù)的時(shí)候，我們可以在一定程度上規(guī)劃出串行和并行的部分，但是這一程度是極其有限的。比如串行計(jì)算后面的運(yùn)算步驟會(huì)強(qiáng)烈依賴于前面運(yùn)算的輸出結(jié)果，因此從原則上講不能讓這些計(jì)算并行同時(shí)執(zhí)行。此外，這種效應(yīng)也會(huì)影響到機(jī)器的其他方面，特別是內(nèi)存的求。后面的運(yùn)算只有在它即將被執(zhí)行的時(shí)候，才能把它所需要的數(shù)據(jù)存到內(nèi)存中。人工自動(dòng)機(jī)的內(nèi)存管理通常是分層次的。不同的層級(jí)以不同的速度操作。在一個(gè)特定的計(jì)算機(jī)中，有高速的電子寄存器，有低速的磁芯，以及更慢的磁帶單元。再說，機(jī)器內(nèi)部的硬件連線也影響了整個(gè)系統(tǒng)的組織方式。馮·諾依曼討論了機(jī)器存儲(chǔ)的層級(jí)結(jié)構(gòu)，并希望在生物自動(dòng)機(jī)中尋找出相似的層級(jí)性。神經(jīng)環(huán)路中的脈沖、神經(jīng)閾值的改變、神經(jīng)系統(tǒng)的組織以及基因中的編碼就構(gòu)成了這樣的層級(jí)實(shí)例。計(jì)算機(jī)的結(jié)構(gòu)與計(jì)算機(jī)中的一個(gè)具體計(jì)算過程的結(jié)構(gòu)是不同的。當(dāng)我們同時(shí)考慮這兩個(gè)因素 的時(shí)候，生物與人工自動(dòng)機(jī)在串行與并行方面的區(qū)別就更顯得重要了。馮·諾依曼將這種聯(lián)系稱為計(jì)算的“邏輯深度”[32]。一個(gè)計(jì)算過程包含了大量的基本邏輯步驟（例如轉(zhuǎn)換或者延遲），每一個(gè)基本步驟都依賴于之前的步驟。我們將這樣的每步都依賴于之前的步驟序列稱為一個(gè)“計(jì)算鏈”。計(jì)算的邏輯深度就是最長計(jì)算鏈的邏輯步數(shù)。由于數(shù)字計(jì)算的高速度，它使用了超長邏輯深度的計(jì)算。因此，為了得到最后有用的答案，機(jī)器犯錯(cuò)誤的概率就得非常小，而且計(jì)算結(jié)果對(duì)每一個(gè)邏輯步驟的依賴性都很強(qiáng)。從這里，我們可以引入馮·諾依曼關(guān)于生物與人工自動(dòng)機(jī)對(duì)比的第五點(diǎn)。

（5）第一臺(tái)數(shù)字計(jì)算機(jī)幾乎沒有自動(dòng)檢測(cè)錯(cuò)誤的功能。人們通過極其細(xì)心的設(shè)計(jì)和構(gòu)建，特別是通過選擇高可靠性的元件的方法避免錯(cuò)誤的出現(xiàn)。同樣計(jì)算機(jī)程序也是通過細(xì)致的編寫與檢測(cè)完成的。診斷程序用來檢測(cè)機(jī)器的錯(cuò)誤，各種過程（例如差分）用于檢測(cè)計(jì)算的結(jié)果。因此，設(shè)計(jì)、建造、使用這些機(jī)器的時(shí)候，人們希望，任何一個(gè)故障會(huì)在下一個(gè)故障出現(xiàn)之前被發(fā)現(xiàn)。這樣，當(dāng)機(jī)器遇到錯(cuò)誤的時(shí)候就會(huì)被一個(gè)分析進(jìn)程終止，并將出錯(cuò)部分隔離出來。正如馮·諾依曼在第一部分第四個(gè)講座中指出的，這種處理錯(cuò)誤的方法顯然不能適用于極其復(fù)雜的自動(dòng)機(jī)。因?yàn)閺?fù)雜的自動(dòng)機(jī)的設(shè)計(jì)和構(gòu)建方法就決定了它必然充滿了大量的錯(cuò)誤。進(jìn)一步，大量的元件就會(huì)使得錯(cuò)誤間的平均間隔很短，從而使得對(duì)問題的定位極其困難。生物自動(dòng)機(jī)在這方面顯然要?jiǎng)龠^人工自動(dòng)機(jī)，就是因?yàn)樗鼈冇兄鴱?qiáng)大的自檢驗(yàn)自修復(fù)的功能。例如，人腦在經(jīng)受很強(qiáng)的機(jī)械損傷或者疾病損傷之后仍舊能夠繼續(xù)很好地工作。因此，從這一點(diǎn)上來看，人工與生物自動(dòng)機(jī)采用了完全不同的方法來對(duì)待錯(cuò)誤。馮·諾依曼在可靠性方面的工作試圖把這兩種自動(dòng)機(jī)由此聯(lián)系起來。

馮·諾依曼設(shè)想自動(dòng)機(jī)的理論應(yīng)該是高度數(shù)學(xué)和邏輯化的。對(duì)生物與人工自動(dòng)機(jī)、以及它們的運(yùn)算交互的大量研究為自動(dòng)機(jī)理論提供過了豐富的實(shí)際經(jīng)驗(yàn)。這與馮·諾依曼所堅(jiān)信的數(shù)學(xué)需要從實(shí)證經(jīng)驗(yàn)中獲得靈感的想法是一致的。

當(dāng)馮·諾依曼構(gòu)建自動(dòng)機(jī)理論的時(shí)候，他熟知數(shù)理邏輯與自動(dòng)機(jī)的緊密聯(lián)系。庫特·哥德爾曾經(jīng)展示了邏輯的基本概念（例如良構(gòu)公式、定理、推理規(guī)則、證明）本質(zhì)上講是遞歸（有效的）的，從而將數(shù)理邏輯歸結(jié)為計(jì)算理論[33]。遞歸函數(shù)是那些可以被圖靈機(jī)計(jì)算的函數(shù)，因此我們可以從自動(dòng)機(jī)的觀點(diǎn)看待數(shù)理邏輯[34]。相反，數(shù)理邏輯也可以用于分析自動(dòng)機(jī)的合成。自動(dòng)機(jī)的邏輯組織可以被表示為理想的開關(guān)-延遲元件，因此可以被翻譯為邏輯符號(hào)。參見第 一部分的第二個(gè)講座。正是由于邏輯與自動(dòng)機(jī)的天然聯(lián)系，邏輯將作為自動(dòng)機(jī)數(shù)學(xué)理論的核心部分。事實(shí)上，馮·諾依曼總是稱該理論為“自動(dòng)機(jī)的邏輯理論”而不是“自動(dòng)機(jī)的理論”。然而，他認(rèn)為自動(dòng)機(jī)的數(shù)學(xué)理論必然會(huì)與經(jīng)典的邏輯有著本質(zhì)的不同。簡單說，數(shù)學(xué)可以分成離散的和連續(xù)的。邏輯是屬于離散的數(shù)學(xué)分支，而且是高度組合性的。馮·諾依曼認(rèn)為自動(dòng)機(jī)的數(shù)學(xué)應(yīng)該更接近于連續(xù)的部分而且主要方法應(yīng)該是分析性的而不是組合性的。

關(guān)于自動(dòng)機(jī)理論相比較傳統(tǒng)的邏輯更應(yīng)該是分析性的觀點(diǎn)是一個(gè)重要的課題。自動(dòng)機(jī)理論必須要考慮元件失效的概率。數(shù)理邏輯僅僅考慮了開關(guān)-延遲組件的完美的確定性的特征；它從理論上就沒有考慮錯(cuò)誤。因此，在實(shí)際使用數(shù)理邏輯設(shè)計(jì)的過程中，我們必須額外地考慮這門學(xué)科之外的知識(shí)。馮·諾依曼希望概率邏輯能夠處理元件失效的情況，并且把它作為自動(dòng)機(jī)運(yùn)算的一個(gè)關(guān)鍵步驟。而概率論具有很強(qiáng)的組合性的特征，也具有很強(qiáng)的分析特征。當(dāng)我們把失效的概率同自動(dòng)機(jī)的邏輯結(jié)合考慮的時(shí)候，我們就不得不考慮計(jì)算的尺度了。在通常的數(shù)理邏輯方法中，人們總是要考慮自動(dòng)機(jī)在有限步驟內(nèi)是否能夠完成某種功能，而不管需要多少步。但是在考慮到自動(dòng)機(jī)元件會(huì)實(shí)現(xiàn)的實(shí)際情況下，計(jì)算的步驟越多，機(jī)器出錯(cuò)的可能性也就會(huì)越大，因此最終的計(jì)算結(jié)果也越有可能是錯(cuò)的。這樣一種對(duì)計(jì)算尺度的考量同樣也來源于實(shí)際自動(dòng)機(jī)的構(gòu)建過程。計(jì)算機(jī)被建造的目的就是要在有限的時(shí)間中計(jì)算出我們想要的結(jié)果。由于我們想讓計(jì)算機(jī)做的很多事情現(xiàn)在還不得不由人類做，在這一點(diǎn)我們須留意人類是一個(gè)有限的自動(dòng)機(jī)，而不是圖靈機(jī)。雖然馮·諾依曼并沒有告訴我們應(yīng)該如何構(gòu)建一個(gè)有關(guān)計(jì)算尺度的理論。但是這一理論一定會(huì)基于“計(jì)算量”——需要同時(shí)考慮計(jì)算的長度（也就是上面提到的“邏輯長度”）以及寬度（并行處理的數(shù)量）——這樣一個(gè)定量概念的。因此，這樣一種有關(guān)計(jì)算量的理論以及它出錯(cuò)的可能性必須同時(shí)包括離散數(shù)學(xué)和連續(xù)數(shù)學(xué)。

'所有這些將會(huì)導(dǎo)致一個(gè)不同于形式邏輯的新理論的誕生，它將超越非此即彼的判斷。這種新邏輯將具有更多的分析特征以及更少的組合特征。事實(shí)上，有多種跡象表明，這個(gè)新的形式邏輯理論將會(huì)與另外一個(gè)與邏輯相距甚遠(yuǎn)的學(xué)科靠得更近。這就是熱力學(xué)，它的主要形式是由玻爾茲曼建立的，是理論物理的一部分，它主要討論信息的操縱與測(cè)量的方方面面。它的技術(shù)是分析性的而不是組合性的，我再一次重申了我在上面已經(jīng)表達(dá)的觀點(diǎn)[35]。'

馮·諾依曼進(jìn)一步指出了將分析性數(shù)學(xué)與自動(dòng)機(jī)理論相結(jié)合的方法論上的優(yōu)勢(shì)。

“每個(gè)曾經(jīng)接觸過形式邏輯的人都知道，它是數(shù)學(xué)中最難掌握的一部分。原因是，這門學(xué)科處理的是嚴(yán)格的，非此即彼的概念，很少涉及實(shí)數(shù)與復(fù)數(shù)的連續(xù)型概念，也就是數(shù)學(xué)分析的知識(shí)。而分析是整個(gè)數(shù)學(xué)中最成功的一種技術(shù)。因此，從方法論上說，數(shù)理邏輯就把數(shù)學(xué)最擅長的部分砍掉了，而深入到了數(shù)學(xué)疆域中最困難的部分：組合學(xué)?！?/em>

這個(gè)評(píng)論非常重要，因?yàn)轳T·諾依曼曾在離散數(shù)學(xué)方面做出過重要的貢獻(xiàn)。在他的“博弈論與經(jīng)濟(jì)行為”一書中，他曾談到，對(duì)于社會(huì)學(xué)理論來說，組合數(shù)學(xué)以及集合論會(huì)比微分方程更有用[36]。在他自己的自動(dòng)機(jī)理論中，馮·諾依曼從離散數(shù)學(xué)走到了連續(xù)數(shù)學(xué)。他的概率邏輯就是一例。在這種邏輯之后，他還提出了一種模擬-數(shù)字混合的計(jì)算系統(tǒng)，這個(gè)計(jì)算系統(tǒng)就與這種邏輯更接近[37]。他第一個(gè)自復(fù)制模型是離散的，但是他希望將來能夠開發(fā)一個(gè)連續(xù)性的模型。參見 本文集第二部分的 I.1.2.3 小節(jié)。我們注意到，馮·諾依曼在稱呼他自己的自動(dòng)機(jī)理論的時(shí)候，叫做“自動(dòng)機(jī)的邏輯理論”，也叫“自動(dòng)機(jī)和信息的理論”，有時(shí)候也稱呼為“信息理論”，這表明信息在其中起到了關(guān)鍵的作用。他把控制和信息理論分成了兩部分：嚴(yán)格的部分和概率的部分。嚴(yán)格部分包含了數(shù)理邏輯，這涵蓋了有限自動(dòng)機(jī)、圖靈機(jī)等部分。概率與統(tǒng)計(jì)部分則包含了香農(nóng)的信息論[38]以及馮·諾依曼的概率邏輯。馮·諾依曼把他的概率邏輯看作是對(duì)嚴(yán)格邏輯的一種延展。信息論與熱力學(xué)之間存在著密切的聯(lián)系。兩個(gè)學(xué)科都用類似的方法使用概率這一概念。參見第一部分的第三個(gè)講座，特別是引用了馮·諾依曼對(duì)維納的控制論的評(píng)述這一部分。

馮·諾依曼曾經(jīng)談到了熱力學(xué)與自動(dòng)機(jī)理論的兩個(gè)聯(lián)系。首先，他發(fā)現(xiàn)熱力學(xué)中的衰退現(xiàn)象可以類比到自復(fù)制自動(dòng)機(jī)理論中：當(dāng)復(fù)雜度和組織程度小于一定閾值的時(shí)候，它們就會(huì)衰退，但是高于這個(gè)閾值的時(shí)候，復(fù)雜度和組織程度就會(huì)升級(jí)。其次，他討論了計(jì)算機(jī)器設(shè)計(jì)中的平衡概念的熱力學(xué)因素。計(jì)算機(jī)的效率依賴于它不同組成部分在速度和尺度上的恰當(dāng)平衡。例如，在內(nèi)存等級(jí)中，不同類型的內(nèi)存（例如晶體管，磁芯、磁帶）應(yīng)該在尺寸和速度方面相互匹配。如果一臺(tái)計(jì)算機(jī)的算術(shù)單元比內(nèi)存快很多，或者是內(nèi)存太小，就好比是一臺(tái)無效率的熱機(jī)，它兩部分的溫度差過大了。計(jì)算機(jī)的效率必須相對(duì)于它的環(huán)境來定義（也就是它要解決的問題），這就像一臺(tái)熱機(jī)的效率依賴于它的環(huán)境一樣。工程師們?cè)趯?shí)踐中摸索出了如何去平衡匹配不同元件的經(jīng)驗(yàn)。而馮·諾依曼希望給出一套類似于熱力學(xué)的，關(guān)于這些平衡的定量的理論。

總之，馮·諾依曼認(rèn)為自動(dòng)機(jī)的數(shù)學(xué)理論應(yīng)該起始于數(shù)理邏輯，而朝向分析、概率以及熱力學(xué)靠近。當(dāng)這個(gè)理論建立起來了，它將能夠讓我們更好地理解具有異常復(fù)雜性的自動(dòng)機(jī)，特別是人類的神經(jīng)系統(tǒng)。人類神經(jīng)系統(tǒng)能夠做數(shù)學(xué)推理，并且它的“初級(jí)”語言與計(jì)算機(jī)的初級(jí)語言類似（參見上面的討論）。因此，很有可能自動(dòng)機(jī)理論將會(huì)對(duì)邏輯學(xué)以及數(shù)學(xué)產(chǎn)生長遠(yuǎn)的影響。

“我懷疑對(duì)于神經(jīng)系統(tǒng)的深入的數(shù)學(xué)研究……將影響我們對(duì)于數(shù)學(xué)本身的理解。事實(shí)上，它可能會(huì)改變我們正確看待數(shù)學(xué)和邏輯學(xué)的方式”。[39]

現(xiàn)在，邏輯是整個(gè)數(shù)學(xué)的基礎(chǔ)；因此，如果馮·諾依曼的建議是對(duì)的，那么自動(dòng)機(jī)理論將會(huì)構(gòu)成一個(gè)圈：開始于數(shù)學(xué)的基礎(chǔ)，并在此結(jié)束。

阿瑟 W. 伯克斯

作者：John von Neumann 20世紀(jì)最重要的數(shù)學(xué)家之一，在現(xiàn)代計(jì)算機(jī)、博弈論、核武器和生化武器等諸多領(lǐng)域內(nèi)有杰出建樹的最偉大的科學(xué)全才之一，被后人稱為“計(jì)算機(jī)之父”和“博弈論之父”。

編者：Arthur W. Burks  馮·諾依曼的助手，遺傳算法之父 John Holland 的博士生導(dǎo)師

注者：Jake張江 集智俱樂部創(chuàng)始人，集智AI學(xué)園創(chuàng)始人，北師大教授

[25 ]參見“博弈與經(jīng)濟(jì)行為”的第一章；以及“數(shù)學(xué)家”馮·諾依曼文集 1.1-9；以及“物理學(xué)方法”馮·諾依曼文集6.491-498

[26] 計(jì)算機(jī)與人腦，p.2

[27]博弈論與經(jīng)濟(jì)行為，第 1.3 和 1.4 節(jié)

[28]“關(guān)于自動(dòng)機(jī)的一般的和邏輯的理論，”馮·諾依曼文集 5.302-30629 博弈論與經(jīng)濟(jì)行為，第 1.1.2 和 4.1.3 節(jié)

[30] Norbert 維納耶在他的《控制論》一書中用一種不同的方法比較了自然與人工系統(tǒng)。維納和馮·諾依曼都了解彼此的工作——參見《控制論》（特別是“介紹”的部分）以及馮·諾依曼對(duì)該書的評(píng)價(jià)。

[31]“概率邏輯以及如何由不可靠元件合成可靠有機(jī)體”，馮·諾依曼文集 5.372-377。

[32] 《計(jì)算機(jī)與人腦》，第 27，29 頁。他也把這稱為語言的邏輯深度。參見 ibid.，第 81-82 頁，以及《計(jì)算機(jī)與人腦》第 15 頁上面有關(guān)神經(jīng)系統(tǒng)的基本語言的討論

[33]參見哥德爾的“Uber formal unentacheidbare Satze der Principia Mathematics und verwandter System I”。定 理性這一概念不總是遞歸的，但是形式語言的定理總是遞歸可枚舉的。

[34] 參見圖靈的“論可計(jì)算數(shù)：以及在判定問題中的應(yīng)用”以及“可計(jì)算性與 lambda 可定義性?！?/p>

[35]“自動(dòng)機(jī)的一般邏輯理論”，馮·諾依曼文集 5.304。下一個(gè)引用來源于同一篇文章 5.308 36 第 4.8.3 節(jié)

[37] “概率邏輯以及如何用不可靠元件合成可靠有機(jī)體”的第 12 節(jié)，馮·諾依曼文集 5.372-377。

[38] “通訊的數(shù)學(xué)理論”

[39] 《計(jì)算機(jī)與人腦》第 2 頁，比較 70-82 頁，參見烏拉姆的“約翰·馮·諾依曼，1903-1957，”第 12 頁。