======================

內(nèi)容翻譯自http://waitbutwhy.com
原文地址：
The AI Revolution: Road to Superintelligence
The AI Revolution: Our Immortality or Extinction
轉(zhuǎn)載請(qǐng)保留原文鏈接和翻譯者 知乎 @謝熊貓君
=======================

我們正站在變革的邊緣，而這次變革將和人類的出現(xiàn)一般意義重大 – Vernor Vinge

如果你站在這里，你會(huì)是什么感覺(jué)？

看上去非常刺激吧？但是你要記住，當(dāng)你真的站在時(shí)間的圖表中的時(shí)候，你是看不到曲線的右邊的，因?yàn)槟闶强床坏轿磥?lái)的。所以你真實(shí)的感覺(jué)大概是這樣的：

稀松平常。

-------------------------------

遙遠(yuǎn)的未來(lái)——就在眼前

想象一下坐時(shí)間機(jī)器回到1750年的地球，那個(gè)時(shí)代沒(méi)有電，暢通通訊基本靠吼，交通主要靠動(dòng)物拉著跑。你在那個(gè)時(shí)代邀請(qǐng)了一個(gè)叫老王的人到2015年來(lái)玩，順便看看他對(duì)“未來(lái)”有什么感受。我們可能沒(méi)有辦法了解1750年的老王內(nèi)心的感受——金屬鐵殼在寬敞的公路上飛馳，和太平洋另一頭的人聊天，看幾千公里外正在發(fā)生進(jìn)行的體育比賽，觀看一場(chǎng)發(fā)生于半個(gè)世紀(jì)前的演唱會(huì)，從口袋里掏出一個(gè)黑色長(zhǎng)方形工具把眼前發(fā)生的事情記錄下來(lái)，生成一個(gè)地圖然后地圖上有個(gè)藍(lán)點(diǎn)告訴你現(xiàn)在的位置，一邊看著地球另一邊的人的臉一邊聊天，以及其它各種各樣的黑科技。別忘了，你還沒(méi)跟他解釋互聯(lián)網(wǎng)、國(guó)際空間站、大型強(qiáng)子對(duì)撞機(jī)、核武器以及相對(duì)論。

這時(shí)候的老王會(huì)是什么體驗(yàn)？驚訝、震驚、腦洞大開(kāi)這些詞都太溫順了，我覺(jué)得老王很可能直接被嚇尿了。

但是，如果老王回到了1750年，然后覺(jué)得被嚇尿是個(gè)很囧的體驗(yàn)，于是他也想把別人嚇尿來(lái)滿足一下自己，那會(huì)發(fā)生什么？于是老王也回到了250年前的1500年，邀請(qǐng)生活在1500年的小李去1750年玩一下。小李可能會(huì)被250年后的很多東西震驚，但是至少他不會(huì)被嚇尿。同樣是250來(lái)年的時(shí)間，1750和2015年的差別，比1500年和1750年的差別，要大得多了。1500年的小李可能能學(xué)到很多神奇的物理知識(shí)，可能會(huì)驚訝于歐洲的帝國(guó)主義旅程，甚至對(duì)于世界地圖的認(rèn)知也會(huì)大大的改變，但是1500年的小李，看到1750年的交通、通訊等等，并不會(huì)被嚇尿。

所以說(shuō)，對(duì)于1750年的老王來(lái)說(shuō)，要把人嚇尿，他需要回到更古老的過(guò)去——比如回到公元前12000年，第一次農(nóng)業(yè)革命之前。那個(gè)時(shí)候還沒(méi)有城市，也還沒(méi)有文明。一個(gè)來(lái)自狩獵采集時(shí)代的人類，只是當(dāng)時(shí)眾多物種中的一個(gè)罷了，來(lái)自那個(gè)時(shí)代的小趙看到1750年龐大的人類帝國(guó)，可以航行于海洋上的巨艦，居住在“室內(nèi)”，無(wú)數(shù)的收藏品，神奇的知識(shí)和發(fā)現(xiàn)——他很有可能被嚇尿。

小趙被嚇尿后如果也想做同樣的事情呢？如果他會(huì)到公元前24000年，找到那個(gè)時(shí)代的小錢，然后給他展示公元前12000年的生活會(huì)怎樣呢。小錢大概會(huì)覺(jué)得小趙是吃飽了沒(méi)事干——“這不跟我的生活差不多么，呵呵”。小趙如果要把人嚇尿，可能要回到十萬(wàn)年前或者更久，然后用人類對(duì)火和語(yǔ)言的掌控來(lái)把對(duì)方嚇尿。

所以，一個(gè)人去到未來(lái)，并且被嚇尿，他們需要滿足一個(gè)“嚇尿單位”。滿足嚇尿單位所需的年代間隔是不一樣的。在狩獵采集時(shí)代滿足一個(gè)嚇尿單位需要超過(guò)十萬(wàn)年，而工業(yè)革命后一個(gè)嚇尿單位只要兩百多年就能滿足。

未來(lái)學(xué)家Ray Kurzweil把這種人類的加速發(fā)展稱作加速回報(bào)定律（Law of Accelerating Returns）。之所以會(huì)發(fā)生這種規(guī)律，是因?yàn)橐粋€(gè)更加發(fā)達(dá)的社會(huì)，能夠繼續(xù)發(fā)展的能力也更強(qiáng)，發(fā)展的速度也更快——這本就是更加發(fā)達(dá)的一個(gè)標(biāo)準(zhǔn)。19世紀(jì)的人們比15世紀(jì)的人們懂得多得多，所以19世紀(jì)的人發(fā)展起來(lái)的速度自然比15世紀(jì)的人更快。

即使放到更小的時(shí)間規(guī)模上，這個(gè)定律依然有效。著名電影《回到未來(lái)》中，生活在1985年的主角回到了1955年。當(dāng)主角回到1955年的時(shí)候，他被電視剛出現(xiàn)時(shí)的新穎、便宜的物價(jià)、沒(méi)人喜歡電吉他、俚語(yǔ)的不同而震驚。

但是如果這部電影發(fā)生在2015年，回到30年前的主角的震驚要比這大得多。一個(gè)2000年左右出生的人，回到一個(gè)沒(méi)有個(gè)人電腦、互聯(lián)網(wǎng)、手機(jī)的1985年，會(huì)比從1985年回到1955年的主角看到更大的區(qū)別。

這同樣是因?yàn)榧铀倩貓?bào)定律。1985年-2015年的平均發(fā)展速度，要比1955年-1985年的平均發(fā)展速度要快，因?yàn)?985年的世界比1955年的更發(fā)達(dá)，起點(diǎn)更高，所以過(guò)去30年的變化要大過(guò)之前30年的變化。

進(jìn)步越來(lái)越大，發(fā)生的越來(lái)越快，也就是說(shuō)我們的未來(lái)會(huì)很有趣對(duì)吧？

未來(lái)學(xué)家Kurzweil認(rèn)為整個(gè)20世紀(jì)100年的進(jìn)步，按照2000年的速度只要20年就能達(dá)成——2000年的發(fā)展速度是20世紀(jì)平均發(fā)展速度的5倍。他認(rèn)為2000年開(kāi)始只要花14年就能達(dá)成整個(gè)20世紀(jì)一百年的進(jìn)步，而之后2014年開(kāi)始只要花7年（2021年），就能達(dá)到又一個(gè)20世紀(jì)一百年的進(jìn)步。幾十年之后，我們每年都能達(dá)成好幾次相當(dāng)于整個(gè)20世紀(jì)的發(fā)展，再往后，說(shuō)不定每個(gè)月都能達(dá)成一次。按照加速回報(bào)定，Kurzweil認(rèn)為人類在21世紀(jì)的進(jìn)步將是20世紀(jì)的1000倍。

如果Kurzweil等人的想法是正確的，那2030年的世界可能就能把我們嚇尿了——下一個(gè)嚇尿單位可能只需要十幾年，而2050年的世界會(huì)變得面目全非。

你可能覺(jué)得2050年的世界會(huì)變得面目全非這句話很可笑，但是這不是科幻，而是比你我聰明很多的科學(xué)家們相信的，而且從歷史來(lái)看，也是邏輯上可以預(yù)測(cè)的。

那么為什么你會(huì)覺(jué)得“2050年的世界會(huì)變得面目全非” 這句話很可笑呢？有三個(gè)原因讓你質(zhì)疑對(duì)于未來(lái)的預(yù)測(cè)：

1. 我們對(duì)于歷史的思考是線性的。當(dāng)我們考慮未來(lái)35年的變化時(shí)，我們參照的是過(guò)去35年發(fā)生的事情。當(dāng)我們考慮21世紀(jì)能產(chǎn)生的變化的時(shí)候，我們參考的是20世紀(jì)發(fā)生的變化。這就好像1750年的老王覺(jué)得1500年的小李在1750年能被嚇尿一樣。線性思考是本能的，但是但是考慮未來(lái)的時(shí)候我們應(yīng)該指數(shù)地思考。一個(gè)聰明人不會(huì)把過(guò)去35年的發(fā)展作為未來(lái)35年的參考，而是會(huì)看到當(dāng)下的發(fā)展速度，這樣預(yù)測(cè)的會(huì)更準(zhǔn)確一點(diǎn)。當(dāng)然這樣還是不夠準(zhǔn)確，想要更準(zhǔn)確，你要想象發(fā)展的速度會(huì)越來(lái)越快。

2. 近期的歷史很可能對(duì)人產(chǎn)生誤導(dǎo)。首先，即使是坡度很高的指數(shù)曲線，只要你截取的部分夠短，看起來(lái)也是很線性的，就好像你截取圓周的很小一塊，看上去就是和直線差不多。其次，指數(shù)增長(zhǎng)不是平滑統(tǒng)一的，發(fā)展常常遵循S曲線。

S曲線發(fā)生在新范式傳遍世界的時(shí)候，S曲線分三部分

- 慢速增長(zhǎng)（指數(shù)增長(zhǎng)初期）

- 快速增長(zhǎng)（指數(shù)增長(zhǎng)的快速增長(zhǎng)期）

- 隨著新范式的成熟而出現(xiàn)的平緩期

如果你只看近期的歷史，你很可能看到的是S曲線的某一部分，而這部分可能不能說(shuō)明發(fā)展究竟有多快速。1995-2007年是互聯(lián)網(wǎng)爆炸發(fā)展的時(shí)候，微軟、谷歌、臉書(shū)進(jìn)入了公眾視野，伴隨著的是社交網(wǎng)絡(luò)、手機(jī)的出現(xiàn)和普及、智能手機(jī)的出現(xiàn)和普及，這一段時(shí)間就是S曲線的快速增長(zhǎng)期。2008-2015年發(fā)展沒(méi)那么迅速，至少在技術(shù)領(lǐng)域是這樣的。如果按照過(guò)去幾年的發(fā)展速度來(lái)估計(jì)當(dāng)下的發(fā)展速度，可能會(huì)錯(cuò)得離譜，因?yàn)楹苡锌赡芟乱粋€(gè)快速增長(zhǎng)期正在萌芽。

3. 個(gè)人經(jīng)驗(yàn)使得我們對(duì)于未來(lái)預(yù)期過(guò)于死板。我們通過(guò)自身的經(jīng)驗(yàn)來(lái)產(chǎn)生世界觀，而經(jīng)驗(yàn)把發(fā)展的速度烙印在了我們腦中——“發(fā)展就是這么個(gè)速度的?！蔽覀冞€會(huì)受限于自己的想象力，因?yàn)橄胂罅νㄟ^(guò)過(guò)去的經(jīng)驗(yàn)來(lái)組成對(duì)未來(lái)的預(yù)測(cè)——但是我們知道的東西是不足以幫助我們預(yù)測(cè)未來(lái)的。當(dāng)我們聽(tīng)到一個(gè)和我們經(jīng)驗(yàn)相違背的對(duì)于未來(lái)的預(yù)測(cè)時(shí)，我們就會(huì)覺(jué)得這個(gè)預(yù)測(cè)偏了。如果我現(xiàn)在跟你說(shuō)你可以活到150歲，250歲，甚至?xí)郎?，你是不是覺(jué)得我在扯淡——“自古以來(lái)，所有人都是會(huì)死的?！笔堑?，過(guò)去從來(lái)沒(méi)有人永生過(guò)，但是飛機(jī)發(fā)明之前也沒(méi)有人坐過(guò)飛機(jī)呀。

接下來(lái)的內(nèi)容，你可能一邊讀一邊心里“呵呵”，而且這些內(nèi)容可能真的是錯(cuò)的。但是如果我們是真的從歷史規(guī)律來(lái)進(jìn)行邏輯思考的，我們的結(jié)論就應(yīng)該是未來(lái)的幾十年將發(fā)生比我們預(yù)期的多得多得多得多的變化。同樣的邏輯也表明，如果人類這個(gè)地球上最發(fā)達(dá)的物種能夠越走越快，總有一天，他們會(huì)邁出徹底改變“人類是什么”這一觀點(diǎn)的一大步，就好像自然進(jìn)化不不斷朝著智能邁步，并且最終邁出一大步產(chǎn)生了人類，從而完全改變了其它所有生物的命運(yùn)。如果你留心一下近來(lái)的科技進(jìn)步的話，你會(huì)發(fā)現(xiàn)，到處都暗示著我們對(duì)于生命的認(rèn)知將要被接下來(lái)的發(fā)展而徹底改變。

_______________

通往超級(jí)智能之路

人工智能是什么？

如果你一直以來(lái)把人工智能（AI）當(dāng)做科幻小說(shuō)，但是近來(lái)卻不但聽(tīng)到很多正經(jīng)人嚴(yán)肅的討論這個(gè)問(wèn)題，你可能也會(huì)困惑。這種困惑是有原因的：

1.我們總是把人工智能和電影想到一起。星球大戰(zhàn)、終結(jié)者、2001：太空漫游等等。電影是虛構(gòu)的，那些電影角色也是虛構(gòu)的，所以我們總是覺(jué)得人工智能缺乏真實(shí)感。

2.人工智能是個(gè)很寬泛的話題。從手機(jī)上的計(jì)算器到無(wú)人駕駛汽車，到未來(lái)可能改變世界的重大變革，人工智能可以用來(lái)描述很多東西，所以人們會(huì)有疑惑。

3.我們?nèi)粘Ｉ钪幸呀?jīng)每天都在使用人工智能了，只是我們沒(méi)意識(shí)到而已。John McCarthy，在1956年最早使用了人工智能（Artificial Intelligence）這個(gè)詞。他總是抱怨“一旦一樣?xùn)|西用人工智能實(shí)現(xiàn)了，人們就不再叫它人工智能了?！?/p>因?yàn)檫@種效應(yīng)，所以人工智能聽(tīng)起來(lái)總讓人覺(jué)得是未來(lái)的神秘存在，而不是身邊已經(jīng)存在的現(xiàn)實(shí)。同時(shí)，這種效應(yīng)也讓人們覺(jué)得人工智能是一個(gè)從未被實(shí)現(xiàn)過(guò)的流行理念。Kurzweil提到經(jīng)常有人說(shuō)人工智能在80年代就被遺棄了，這種說(shuō)法就好像“互聯(lián)網(wǎng)已經(jīng)在21世紀(jì)初互聯(lián)網(wǎng)泡沫爆炸時(shí)死去了”一般滑稽。

所以，讓我們從頭開(kāi)始。

首先，不要一提到人工智能就想著機(jī)器人。機(jī)器人只是人工智能的容器，機(jī)器人有時(shí)候是人形，有時(shí)候不是，但是人工智能自身只是機(jī)器人體內(nèi)的電腦。人工智能是大腦的話，機(jī)器人就是身體——而且這個(gè)身體不一定是必需的。比如說(shuō)Siri背后的軟件和數(shù)據(jù)是人工智能，Siri說(shuō)話的聲音是這個(gè)人工智能的人格化體現(xiàn)，但是Siri本身并沒(méi)有機(jī)器人這個(gè)組成部分。

其次，你可能聽(tīng)過(guò)“奇點(diǎn)”或者“技術(shù)奇點(diǎn)”這種說(shuō)法。這種說(shuō)法在數(shù)學(xué)上用來(lái)描述類似漸進(jìn)的情況，這種情況下通常的規(guī)律就不適用了。這種說(shuō)法同樣被用在物理上來(lái)描述無(wú)限小的高密度黑洞，同樣是通常的規(guī)律不適用的情況。Kurzweil則把奇點(diǎn)定義為加速回報(bào)定律達(dá)到了極限，技術(shù)進(jìn)步以近乎無(wú)限的速度發(fā)展，而奇點(diǎn)之后我們將在一個(gè)完全不同的世界生活的。但是當(dāng)下的很多思考人工智能的人已經(jīng)不再用奇點(diǎn)這個(gè)說(shuō)法了，而且這種說(shuō)法很容易把人弄混，所以本文也盡量少用。

最后，人工智能的概念很寬，所以人工智能也分很多種，我們按照人工智能的實(shí)力將其分成三大類。

弱人工智能Artificial Narrow Intelligence (ANI): 弱人工智能是擅長(zhǎng)于單個(gè)方面的人工智能。比如有能戰(zhàn)勝象棋世界冠軍的人工智能，但是它只會(huì)下象棋，你要問(wèn)它怎樣更好地在硬盤上儲(chǔ)存數(shù)據(jù)，它就不知道怎么回答你了。

強(qiáng)人工智能Artificial General Intelligence (AGI): 人類級(jí)別的人工智能。強(qiáng)人工智能是指在各方面都能和人類比肩的人工智能，人類能干的腦力活它都能干。創(chuàng)造強(qiáng)人工智能比創(chuàng)造弱人工智能難得多，我們現(xiàn)在還做不到。Linda Gottfredson教授把智能定義為“一種寬泛的心理能力，能夠進(jìn)行思考、計(jì)劃、解決問(wèn)題、抽象思維、理解復(fù)雜理念、快速學(xué)習(xí)和從經(jīng)驗(yàn)中學(xué)習(xí)等操作?！睆?qiáng)人工智能在進(jìn)行這些操作時(shí)應(yīng)該和人類一樣得心應(yīng)手。

超人工智能Artificial Superintelligence (ASI): 牛津哲學(xué)家，知名人工智能思想家Nick Bostrom把超級(jí)智能定義為“在幾乎所有領(lǐng)域都比最聰明的人類大腦都聰明很多，包括科學(xué)創(chuàng)新、通識(shí)和社交技能?！背斯ぶ悄芸梢允歉鞣矫娑急热祟悘?qiáng)一點(diǎn)，也可以是各方面都比人類強(qiáng)萬(wàn)億倍的。超人工智能也正是為什么人工智能這個(gè)話題這么火熱的緣故，同樣也是為什么永生和滅絕這兩個(gè)詞會(huì)在本文中多次出現(xiàn)。

現(xiàn)在，人類已經(jīng)掌握了弱人工智能。其實(shí)弱人工智能無(wú)處不在，人工智能革命是從弱人工智能，通過(guò)強(qiáng)人工智能，最終到達(dá)超人工智能的旅途。這段旅途中人類可能會(huì)生還下來(lái)，可能不會(huì)，但是無(wú)論如何，世界將變得完全不一樣。

讓我們來(lái)看看這個(gè)領(lǐng)域的思想家對(duì)于這個(gè)旅途是怎么看的，以及為什么人工智能革命可能比你想的要近得多。

我們現(xiàn)在的位置——充滿了弱人工智能的世界

弱人工智能是在特定領(lǐng)域等同或者超過(guò)人類智能/效率的機(jī)器智能，一些常見(jiàn)的例子：

• 汽車上有很多的弱人工智能系統(tǒng)，從控制防抱死系統(tǒng)的電腦，到控制汽油注入?yún)?shù)的電腦。谷歌正在測(cè)試的無(wú)人駕駛車，就包括了很多弱人工智能，這些弱人工智能能夠感知周圍環(huán)境并作出反應(yīng)。
• 你的手機(jī)也充滿了弱人工智能系統(tǒng)。當(dāng)你用地圖軟件導(dǎo)航，接受音樂(lè)電臺(tái)推薦，查詢明天的天氣，和Siri聊天，以及其它很多很多應(yīng)用，其實(shí)都是弱人工智能。
• 垃圾郵件過(guò)濾器是一種經(jīng)典的弱人工智能——它一開(kāi)始就加載了很多識(shí)別垃圾郵件的智能，并且它會(huì)學(xué)習(xí)并且根據(jù)你的使用而獲得經(jīng)驗(yàn)。智能室溫調(diào)節(jié)也是一樣，它能根據(jù)你的日常習(xí)慣來(lái)智能調(diào)節(jié)。
• 你在上網(wǎng)時(shí)候出現(xiàn)的各種其它電商網(wǎng)站的產(chǎn)品推薦，還有社交網(wǎng)站的好友推薦，這些都是弱人工智能的組成的，弱人工智能聯(lián)網(wǎng)互相溝通，利用你的信息來(lái)進(jìn)行推薦。網(wǎng)購(gòu)時(shí)出現(xiàn)的“買這個(gè)商品的人還購(gòu)買了”推薦，其實(shí)就是收集數(shù)百萬(wàn)用戶行為然后產(chǎn)生信息來(lái)賣東西給你的弱人工智能。
• 谷歌翻譯也是一種經(jīng)典的人工智能——非常擅長(zhǎng)單個(gè)領(lǐng)域。聲音識(shí)別也是一種。很多軟件利用這兩種智能的合作，使得你能對(duì)著手機(jī)說(shuō)中文，手機(jī)直接給你翻譯成英文。
• 當(dāng)飛機(jī)著陸時(shí)候，不是一個(gè)人類決定飛機(jī)該去那個(gè)登機(jī)口接駁。就好像你在網(wǎng)上買票時(shí)票據(jù)不是一個(gè)人類決定的。
• 世界最強(qiáng)的跳棋、象棋、拼字棋、雙陸棋和黑白棋選手都是弱人工智能。
• 谷歌搜索是一個(gè)巨大的弱人工智能，背后是非常復(fù)雜的排序方法和內(nèi)容檢索。社交網(wǎng)絡(luò)的新鮮事同樣是這樣。
• 這些還只是消費(fèi)級(jí)產(chǎn)品的例子。軍事、制造、金融（高頻算法交易占到了美國(guó)股票交易的一半）等領(lǐng)域廣泛運(yùn)用各種復(fù)雜的弱人工智能。專業(yè)系統(tǒng)也有，比如幫助醫(yī)生診斷疾病的系統(tǒng)，還有著名的IBM的華生，儲(chǔ)存了大量事實(shí)數(shù)據(jù)，還能理解主持人的提問(wèn)，在競(jìng)猜節(jié)目中能夠戰(zhàn)勝最厲害的參賽者。

現(xiàn)在的弱人工智能系統(tǒng)并不嚇人。最糟糕的情況，無(wú)非是代碼沒(méi)寫好，程序出故障，造成了單獨(dú)的災(zāi)難，比如造成停電、核電站故障、金融市場(chǎng)崩盤等等。

雖然現(xiàn)在的弱人工智能沒(méi)有威脅我們生存的能力，我們還是要懷著警惕的觀點(diǎn)看待正在變得更加龐大和復(fù)雜的弱人工智能的生態(tài)。每一個(gè)弱人工智能的創(chuàng)新，都在給通往強(qiáng)人工智能和超人工智能的旅途添磚加瓦。用Aaron Saenz的觀點(diǎn)，現(xiàn)在的弱人工智能，就是地球早期軟泥中的氨基酸——沒(méi)有動(dòng)靜的物質(zhì)，突然之間就組成了生命。

弱人工智能到強(qiáng)人工智能之路

為什么這條路很難走

只有明白創(chuàng)造一個(gè)人類智能水平的電腦是多么不容易，才能讓你真的理解人類的智能是多么不可思議。造摩天大樓、把人送入太空、明白宇宙大爆炸的細(xì)節(jié)——這些都比理解人類的大腦，并且創(chuàng)造個(gè)類似的東西要簡(jiǎn)單太多了。至今為止，人類的大腦是我們所知宇宙中最復(fù)雜的東西。

而且創(chuàng)造強(qiáng)人工智能的難處，并不是你本能認(rèn)為的那些。

造一個(gè)能在瞬間算出十位數(shù)乘法的計(jì)算機(jī)——非常簡(jiǎn)單

造一個(gè)能分辨出一個(gè)動(dòng)物是貓還是狗的計(jì)算機(jī)——極端困難

造一個(gè)能戰(zhàn)勝世界象棋冠軍的電腦——早就成功了

造一個(gè)能夠讀懂六歲小朋友的圖片書(shū)中的文字，并且了解那些詞匯意思的電腦——谷歌花了幾十億美元在做，還沒(méi)做出來(lái)。

一些我們覺(jué)得困難的事情——微積分、金融市場(chǎng)策略、翻譯等，對(duì)于電腦來(lái)說(shuō)都太簡(jiǎn)單了

我們覺(jué)得容易的事情——視覺(jué)、動(dòng)態(tài)、移動(dòng)、直覺(jué)——對(duì)電腦來(lái)說(shuō)太TM的難了。

用計(jì)算機(jī)科學(xué)家Donald Knuth的說(shuō)法，“人工智能已經(jīng)在幾乎所有需要思考的領(lǐng)域超過(guò)了人類，但是在那些人類和其它動(dòng)物不需要思考就能完成的事情上，還差得很遠(yuǎn)?！?/span>

讀者應(yīng)該能很快意識(shí)到，那些對(duì)我們來(lái)說(shuō)很簡(jiǎn)單的事情，其實(shí)是很復(fù)雜的，它們看上去很簡(jiǎn)單，因?yàn)樗鼈円呀?jīng)在動(dòng)物進(jìn)化的過(guò)程中經(jīng)歷了幾億年的優(yōu)化了。當(dāng)你舉手拿一件東西的時(shí)候，你肩膀、手肘、手腕里的肌肉、肌腱和骨頭，瞬間就進(jìn)行了一組復(fù)雜的物理運(yùn)作，這一切還配合著你的眼睛的運(yùn)作，使得你的手能都在三維空間中進(jìn)行直線運(yùn)作。對(duì)你來(lái)說(shuō)這一切輕而易舉，因?yàn)樵谀隳X中負(fù)責(zé)處理這些的“軟件”已經(jīng)很完美了。同樣的，軟件很難識(shí)別網(wǎng)站的驗(yàn)證碼，不是因?yàn)檐浖?，恰恰相反，是因?yàn)槟軌蜃x懂驗(yàn)證碼是件碉堡了的事情。

同樣的，大數(shù)相乘、下棋等等，對(duì)于生物來(lái)說(shuō)是很新的技能，我們還沒(méi)有幾億年的世界來(lái)進(jìn)化這些能力，所以電腦很輕易的就擊敗了我們。試想一下，如果讓你寫一個(gè)程序，是一個(gè)能做大數(shù)相乘的程序容易寫，還是能夠識(shí)別千千萬(wàn)萬(wàn)種字體和筆跡下書(shū)寫的英文字母的程序難寫？

比如看著下面這個(gè)圖的時(shí)候，你和電腦都能識(shí)別出這是一個(gè)由兩種顏色的小長(zhǎng)方形組成的一個(gè)大長(zhǎng)方形。

你和電腦打了個(gè)平手。接著我們把途中的黑色部分去除：

而且，我們到現(xiàn)在談的還是靜態(tài)不變的信息。要想達(dá)到人類級(jí)別的智能，電腦必須要理解更高深的東西，比如微小的臉部表情變化，開(kāi)心、放松、滿足、滿意、高興這些類似情緒間的區(qū)別，以及為什么《布達(dá)佩斯大飯店》是好電影，而《富春山居圖》是爛電影。

想想就很難吧？

我們要怎樣才能達(dá)到這樣的水平呢？

通往強(qiáng)人工智能的第一步：增加電腦處理速度

要達(dá)到強(qiáng)人工智能，肯定要滿足的就是電腦硬件的運(yùn)算能力。如果一個(gè)人工智能要像人腦一般聰明，它至少要能達(dá)到人腦的運(yùn)算能力。

用來(lái)描述運(yùn)算能力的單位叫作cps（calculations per second，每秒計(jì)算次數(shù)），要計(jì)算人腦的cps只要了解人腦中所有結(jié)構(gòu)的最高cps，然后加起來(lái)就行了。

Kurzweil把對(duì)于一個(gè)結(jié)構(gòu)的最大cps的專業(yè)估算，然后考慮這個(gè)結(jié)構(gòu)占整個(gè)大腦的重量，做乘法，來(lái)得出人腦的cps。聽(tīng)起來(lái)不太靠譜，但是Kurzweil用了對(duì)于不同大腦區(qū)域的專業(yè)估算值，得出的最終結(jié)果都非常類似，是10^16 cps，也就是1億億次計(jì)算每秒。

現(xiàn)在最快的超級(jí)計(jì)算機(jī)，中國(guó)的天河二號(hào)，其實(shí)已經(jīng)超過(guò)這個(gè)運(yùn)算力了，天河每秒能進(jìn)行3.4億億。當(dāng)然，天河二號(hào)占地720平方米，耗電2400萬(wàn)瓦，耗費(fèi)了3.9億美元建造。廣泛應(yīng)用就不提了，即使是大部分商業(yè)或者工業(yè)運(yùn)用也是很貴的。

Kurzweil認(rèn)為考慮電腦的發(fā)展程度的標(biāo)桿是看1000美元能買到多少cps，當(dāng)1000美元能買到人腦級(jí)別的1億億運(yùn)算能力的時(shí)候，強(qiáng)人工智能可能就是生活的一部分了。

摩爾定律認(rèn)為全世界的電腦運(yùn)算能力每?jī)赡昃头槐?，這一定律有歷史數(shù)據(jù)所支持，這同樣表明電腦硬件的發(fā)展和人類發(fā)展一樣是指數(shù)級(jí)別的。我們用這個(gè)定律來(lái)衡量1000美元什么時(shí)候能買到1億億cps?，F(xiàn)在1000美元能買到10萬(wàn)億cps，和摩爾定律的歷史預(yù)測(cè)相符合。

也就是說(shuō)現(xiàn)在1000美元能買到的電腦已經(jīng)強(qiáng)過(guò)了老鼠，并且達(dá)到了人腦千分之一的水平。聽(tīng)起來(lái)還是弱爆了，但是，讓我們考慮一下，1985年的時(shí)候，同樣的錢只能買到人腦萬(wàn)億分之一的cps，1995年變成了十億分之一，2005年是百萬(wàn)分之一，而2015年已經(jīng)是千分之一了。按照這個(gè)速度，我們到2025年就能花1000美元買到可以和人腦運(yùn)算速度抗衡的電腦了。

至少在硬件上，我們已經(jīng)能夠強(qiáng)人工智能了（中國(guó)的天河二號(hào)），而且十年以內(nèi)，我們就能以低廉的價(jià)格買到能夠支持強(qiáng)人工智能的電腦硬件。

但是運(yùn)算能力并不能讓電腦變得智能，下一個(gè)問(wèn)題是，我們?cè)鯓永眠@份運(yùn)算能力來(lái)達(dá)成人類水平的智能。

通往強(qiáng)人工智能的第二步：讓電腦變得智能

這一步比較難搞。事實(shí)上，沒(méi)人知道該怎么搞——我們還停留在爭(zhēng)論怎么讓電腦分辨《富春山居圖》是部爛片的階段。但是，現(xiàn)在有一些策略，有可能會(huì)有效。下面是最常見(jiàn)的三種策略：

1) 抄襲人腦

就好像你班上有一個(gè)學(xué)霸。你不知道為什么學(xué)霸那么聰明，為什么考試每次都滿分。雖然你也很努力的學(xué)習(xí)，但是你就是考的沒(méi)有學(xué)霸好。最后你決定“老子不干了，我直接抄他的考試答案好了。”這種“抄襲”是有道理的，我們想要建造一個(gè)超級(jí)復(fù)雜的電腦，但是我們有人腦這個(gè)范本可以參考呀。

科學(xué)界正在努力逆向工程人腦，來(lái)理解生物進(jìn)化是怎么造出這么個(gè)神奇的東西的，樂(lè)觀的估計(jì)是我們?cè)?030年之前能夠完成這個(gè)任務(wù)。一旦這個(gè)成就達(dá)成，我們就能知道為什么人腦能夠如此高效、快速的運(yùn)行，并且能從中獲得靈感來(lái)進(jìn)行創(chuàng)新。一個(gè)電腦架構(gòu)模擬人腦的例子就是人工神經(jīng)網(wǎng)絡(luò)。它是一個(gè)由晶體管作為“神經(jīng)”組成的網(wǎng)絡(luò)，晶體管和其它晶體管互相連接，有自己的輸入、輸出系統(tǒng)，而且什么都不知道——就像一個(gè)嬰兒的大腦。接著它會(huì)通過(guò)做任務(wù)來(lái)自我學(xué)習(xí)，比如識(shí)別筆跡。最開(kāi)始它的神經(jīng)處理和猜測(cè)會(huì)是隨機(jī)的，但是當(dāng)它得到正確的回饋后，相關(guān)晶體管之間的連接就會(huì)被加強(qiáng)；如果它得到錯(cuò)誤的回饋，連接就會(huì)變?nèi)?。?jīng)過(guò)一段時(shí)間的測(cè)試和回饋后，這個(gè)網(wǎng)絡(luò)自身就會(huì)組成一個(gè)智能的神經(jīng)路徑，而處理這項(xiàng)任務(wù)的能力也得到了優(yōu)化。人腦的學(xué)習(xí)是類似的過(guò)程，不過(guò)比這復(fù)雜一點(diǎn)，隨著我們對(duì)大腦研究的深入，我們將會(huì)發(fā)現(xiàn)更好的組建神經(jīng)連接的方法。

更加極端的“抄襲”方式是“整腦模擬”。具體來(lái)說(shuō)就是把人腦切成很薄的片，用軟件來(lái)準(zhǔn)確的組建一個(gè)3D模型，然后把這個(gè)模型裝在強(qiáng)力的電腦上。如果能做成，這臺(tái)電腦就能做所有人腦能做的事情——只要讓它學(xué)習(xí)和吸收信息就好了。如果做這事情的工程師夠厲害的話，他們模擬出來(lái)的人腦甚至?xí)性救四X的人格和記憶，電腦模擬出的人腦就會(huì)像原本的人腦一樣——這就是非常符合人類標(biāo)準(zhǔn)的強(qiáng)人工智能，然后我們就能把它改造成一個(gè)更加厲害的超人工智能了。

我們離整腦模擬還有多遠(yuǎn)呢？至今為止，我們剛剛能夠模擬1毫米長(zhǎng)的扁蟲(chóng)的大腦，這個(gè)大腦含有302個(gè)神經(jīng)元。人類的大腦有1000億個(gè)神經(jīng)元，聽(tīng)起來(lái)還差很遠(yuǎn)。但是要記住指數(shù)增長(zhǎng)的威力——我們已經(jīng)能模擬小蟲(chóng)子的大腦了，螞蟻的大腦也不遠(yuǎn)了，接著就是老鼠的大腦，到那時(shí)模擬人類大腦就不是那么不現(xiàn)實(shí)的事情了。

2）模仿生物演化

抄學(xué)霸的答案當(dāng)然是一種方法，但是如果學(xué)霸的答案太難抄了呢？那我們能不能學(xué)一下學(xué)霸備考的方法？

首先我們很確定的知道，建造一個(gè)和人腦一樣強(qiáng)大的電腦是可能的——我們的大腦就是證據(jù)。如果大腦太難完全模擬，那么我們可以模擬演化出大腦的過(guò)程。事實(shí)上，就算我們真的能完全模擬大腦，結(jié)果也就好像照抄鳥(niǎo)類翅膀的拍動(dòng)來(lái)造飛機(jī)一樣——很多時(shí)候最好的設(shè)計(jì)機(jī)器的方式并不是照抄生物設(shè)計(jì)。

所以我們可不可以用模擬演化的方式來(lái)造強(qiáng)人工智能呢？這種方法叫作“基因算法”，它大概是這樣的：建立一個(gè)反復(fù)運(yùn)作的表現(xiàn)/評(píng)價(jià)過(guò)程，就好像生物通過(guò)生存這種方式來(lái)表現(xiàn)，并且以能否生養(yǎng)后代為評(píng)價(jià)一樣。一組電腦將執(zhí)行各種任務(wù)，最成功的將會(huì)“繁殖”，把各自的程序融合，產(chǎn)生新的電腦，而不成功的將會(huì)被剔除。經(jīng)過(guò)多次的反復(fù)后。這個(gè)自然選擇的過(guò)程將產(chǎn)生越來(lái)越強(qiáng)大的電腦。而這個(gè)方法的難點(diǎn)是建立一個(gè)自動(dòng)化的評(píng)價(jià)和繁殖過(guò)程，使得整個(gè)流程能夠自己運(yùn)行。

這個(gè)方法的缺點(diǎn)也是很明顯的，演化需要經(jīng)過(guò)幾十億年的時(shí)間，而我們卻只想花幾十年時(shí)間。

但是比起自然演化來(lái)說(shuō)，我們有很多優(yōu)勢(shì)。首先，自然演化是沒(méi)有預(yù)知能力的，它是隨機(jī)的——它產(chǎn)生的沒(méi)用的變異比有用的變異多很多，但是人工模擬的演化可以控制過(guò)程，使其著重于有益的變化。其次，自然演化是沒(méi)有目標(biāo)的，自然演化出的智能也不是它目標(biāo)，特定環(huán)境甚至對(duì)于更高的智能是不利的（因?yàn)楦叩戎悄芟暮芏嗄茉矗?。但是我們可以指揮演化的過(guò)程超更高智能的方向發(fā)展。再次，要產(chǎn)生智能，自然演化要先產(chǎn)生其它的附件，比如改良細(xì)胞產(chǎn)生能量的方法，但是我們完全可以用電力來(lái)代替這額外的負(fù)擔(dān)。所以，人類主導(dǎo)的演化會(huì)比自然快很多很多，但是我們依然不清楚這些優(yōu)勢(shì)是否能使模擬演化成為可行的策略。

3）讓電腦來(lái)解決這些問(wèn)題

如果抄學(xué)霸的答案和模擬學(xué)霸備考的方法都走不通，那就干脆讓考題自己解答自己吧。這種想法很無(wú)厘頭，確實(shí)最有希望的一種。

總的思路是我們建造一個(gè)能進(jìn)行兩項(xiàng)任務(wù)的電腦——研究人工智能和修改自己的代碼。這樣它就不只能改進(jìn)自己的架構(gòu)了，我們直接把電腦變成了電腦科學(xué)家，提高電腦的智能就變成了電腦自己的任務(wù)。

以上這些都會(huì)很快發(fā)生

硬件的快速發(fā)展和軟件的創(chuàng)新是同時(shí)發(fā)生的，強(qiáng)人工智能可能比我們預(yù)期的更早降臨，因?yàn)椋?/p>

1）指數(shù)級(jí)增長(zhǎng)的開(kāi)端可能像蝸牛漫步，但是后期會(huì)跑的非常快

2）軟件的發(fā)展可能看起來(lái)很緩慢，但是一次頓悟，就能永遠(yuǎn)改變進(jìn)步的速度。就好像在人類還信奉地心說(shuō)的時(shí)候，科學(xué)家們沒(méi)法計(jì)算宇宙的運(yùn)作方式，但是日心說(shuō)的發(fā)現(xiàn)讓一切變得容易很多。創(chuàng)造一個(gè)能自我改進(jìn)的電腦來(lái)說(shuō)，對(duì)我們來(lái)說(shuō)還很遠(yuǎn)，但是可能一個(gè)無(wú)意的變動(dòng)，就能讓現(xiàn)在的系統(tǒng)變得強(qiáng)大千倍，從而開(kāi)啟朝人類級(jí)別智能的沖刺。

強(qiáng)人工智能到超人工智能之路

總有一天，我們會(huì)造出和人類智能相當(dāng)?shù)膹?qiáng)人工智能電腦，然后人類和電腦就會(huì)平等快樂(lè)的生活在一起。

呵呵，逗你呢。

即使是一個(gè)和人類智能完全一樣，運(yùn)算速度完全一樣的強(qiáng)人工智能，也比人類有很多優(yōu)勢(shì)：

硬件上：

-速度。腦神經(jīng)元的運(yùn)算速度最多是200赫茲，今天的微處理器就能以2G赫茲，也就是神經(jīng)元1000萬(wàn)倍的速度運(yùn)行，而這比我們達(dá)成強(qiáng)人工智能需要的硬件還差遠(yuǎn)了。大腦的內(nèi)部信息傳播速度是每秒120米，電腦的信息傳播速度是光速，差了好幾個(gè)數(shù)量級(jí)。

- 容量和儲(chǔ)存空間。人腦就那么大，后天沒(méi)法把它變得更大，就算真的把它變得很大，每秒120米的信息傳播速度也會(huì)成為巨大的瓶頸。電腦的物理大小可以非常隨意，使得電腦能運(yùn)用更多的硬件，更大的內(nèi)存，長(zhǎng)期有效的存儲(chǔ)介質(zhì)，不但容量大而且比人腦更準(zhǔn)確。

- 可靠性和持久性。電腦的存儲(chǔ)不但更加準(zhǔn)確，而且晶體管比神經(jīng)元更加精確，也更不容易萎縮（真的壞了也很好修）。人腦還很容易疲勞，但是電腦可以24小時(shí)不停的以峰值速度運(yùn)作。

軟件上來(lái)說(shuō)：

- 可編輯性，升級(jí)性，以及更多的可能性。和人腦不同，電腦軟件可以進(jìn)行更多的升級(jí)和修正，并且很容易做測(cè)試。電腦的升級(jí)可以加強(qiáng)人腦比較弱勢(shì)的領(lǐng)域——人腦的視覺(jué)元件很發(fā)達(dá)，但是工程元件就挺弱的。而電腦不但能在視覺(jué)元件上匹敵人類，在工程元件上也一樣可以加強(qiáng)和優(yōu)化。

- 集體能力。人類在集體智能上可以碾壓所有的物種。從早期的語(yǔ)言和大型社區(qū)的形成，到文字和印刷的發(fā)明，再到互聯(lián)網(wǎng)的普及。人類的集體智能是我們統(tǒng)治其它物種的重要原因之一。而電腦在這方面比我們要強(qiáng)的很多，一個(gè)運(yùn)行特定程序的人工智能網(wǎng)絡(luò)能夠經(jīng)常在全球范圍內(nèi)自我同步，這樣一臺(tái)電腦學(xué)到的東西會(huì)立刻被其它所有電腦學(xué)得。而且電腦集群可以共同執(zhí)行同一個(gè)任務(wù)，因?yàn)楫愐?jiàn)、動(dòng)力、自利這些人類特有的東西未必會(huì)出現(xiàn)在電腦身上。

通過(guò)自我改進(jìn)來(lái)達(dá)成強(qiáng)人工智能的人工智能，會(huì)把“人類水平的智能”當(dāng)作一個(gè)重要的里程碑，但是也就僅此而已了。它不會(huì)停留在這個(gè)里程碑上的?？紤]到強(qiáng)人工智能之于人腦的種種優(yōu)勢(shì)，人工智能只會(huì)在“人類水平”這個(gè)節(jié)點(diǎn)做短暫的停留，然后就會(huì)開(kāi)始大踏步向超人類級(jí)別的智能走去。

這一切發(fā)生的時(shí)候我們很可能被嚇尿，因?yàn)閺奈覀兊慕嵌葋?lái)看 a)雖然動(dòng)物的智能有區(qū)別，但是動(dòng)物智能的共同特點(diǎn)是比人類低很多；b)我們眼中最聰明的人類要比最愚笨的人類要聰明很很很很多。

所以，當(dāng)人工智能開(kāi)始朝人類級(jí)別智能靠近時(shí)，我們看到的是它逐漸變得更加智能，就好像一個(gè)動(dòng)物一般。然后，它突然達(dá)到了最愚笨的人類的程度，我們到時(shí)也許會(huì)感慨：“看這個(gè)人工智能就跟個(gè)腦殘人類一樣聰明，真可愛(ài)。”

但問(wèn)題是，從智能的大局來(lái)看，人和人的智能的差別，比如從最愚笨的人類到愛(ài)因斯坦的差距，其實(shí)是不大的。所以當(dāng)人工智能達(dá)到了腦殘級(jí)別的智能后，它會(huì)很快變得比愛(ài)因斯坦更加聰明：

之后呢？

智能爆炸

從這邊開(kāi)始，這個(gè)話題要變得有點(diǎn)嚇人了。我在這里要提醒大家，以下所說(shuō)的都是大實(shí)話——是一大群受人尊敬的思想家和科學(xué)家關(guān)于未來(lái)的誠(chéng)實(shí)的預(yù)測(cè)。你在下面讀到什么離譜的東西的時(shí)候，要記得這些東西是比你我都聰明很多的人想出來(lái)的。

像上面所說(shuō)的，我們當(dāng)下用來(lái)達(dá)成強(qiáng)人工智能的模型大多數(shù)都依靠人工智能的自我改進(jìn)。但是一旦它達(dá)到了強(qiáng)人工智能，即使算上那一小部分不是通過(guò)自我改進(jìn)來(lái)達(dá)成強(qiáng)人工智能的系統(tǒng)，也會(huì)聰明到能夠開(kāi)始自我改進(jìn)。

這里我們要引出一個(gè)沉重的概念——遞歸的自我改進(jìn)。這個(gè)概念是這樣的：一個(gè)運(yùn)行在特定智能水平的人工智能，比如說(shuō)腦殘人類水平，有自我改進(jìn)的機(jī)制。當(dāng)它完成一次自我改進(jìn)后，它比原來(lái)更加聰明了，我們假設(shè)它到了愛(ài)因斯坦水平。而這個(gè)時(shí)候它繼續(xù)進(jìn)行自我改進(jìn)，然而現(xiàn)在它有了愛(ài)因斯坦水平的智能，所以這次改進(jìn)會(huì)比上面一次更加容易，效果也更好。第二次的改進(jìn)使得他比愛(ài)因斯坦還要聰明很多，讓它接下來(lái)的改進(jìn)進(jìn)步更加明顯。如此反復(fù)，這個(gè)強(qiáng)人工智能的智能水平越長(zhǎng)越快，直到它達(dá)到了超人工智能的水平——這就是智能爆炸，也是加速回報(bào)定律的終極表現(xiàn)。

現(xiàn)在關(guān)于人工智能什么時(shí)候能達(dá)到人類普遍智能水平還有爭(zhēng)議。對(duì)于數(shù)百位科學(xué)家的問(wèn)卷調(diào)查顯示他們認(rèn)為強(qiáng)人工智能出現(xiàn)的中位年份是2040年——距今只有25年。這聽(tīng)起來(lái)可能沒(méi)什么，但是要記住，很多這個(gè)領(lǐng)域的思想家認(rèn)為從強(qiáng)人工智能到超人工智能的轉(zhuǎn)化會(huì)快得多。以下的情景很可能會(huì)發(fā)生：一個(gè)人工智能系統(tǒng)花了幾十年時(shí)間到達(dá)了人類腦殘智能的水平，而當(dāng)這個(gè)節(jié)點(diǎn)發(fā)生的時(shí)候，電腦對(duì)于世界的感知大概和一個(gè)四歲小孩一般；而在這節(jié)點(diǎn)后一個(gè)小時(shí)，電腦立馬推導(dǎo)出了統(tǒng)一廣義相對(duì)論和量子力學(xué)的物理學(xué)理論；而在這之后一個(gè)半小時(shí)，這個(gè)強(qiáng)人工智能變成了超人工智能，智能達(dá)到了普通人類的17萬(wàn)倍。

這個(gè)級(jí)別的超級(jí)智能不是我們能夠理解的，就好像蜜蜂不會(huì)理解凱恩斯經(jīng)濟(jì)學(xué)一樣。在我們的語(yǔ)言中，我們把130的智商叫作聰明，把85的智商叫作笨，但是我們不知道怎么形容12952的智商，人類語(yǔ)言中根本沒(méi)這個(gè)概念。

但是我們知道的是，人類對(duì)于地球的統(tǒng)治教給我們一個(gè)道理——智能就是力量。也就是說(shuō)，一個(gè)超人工智能，一旦被創(chuàng)造出來(lái)，將是地球有史以來(lái)最強(qiáng)大的東西，而所有生物，包括人類，都只能屈居其下——而這一切，有可能在未來(lái)幾十年就發(fā)生。

想一下，如果我們的大腦能夠發(fā)明Wifi，那么一個(gè)比我們聰明100倍、1000倍、甚至10億倍的大腦說(shuō)不定能夠隨時(shí)隨地操縱這個(gè)世界所有原子的位置。那些在我們看來(lái)超自然的，只屬于全能的上帝的能力，對(duì)于一個(gè)超人工智能來(lái)說(shuō)可能就像按一下電燈開(kāi)關(guān)那么簡(jiǎn)單。防止人類衰老，治療各種不治之癥，解決世界饑荒，甚至讓人類永生，或者操縱氣候來(lái)保護(hù)地球未來(lái)的什么，這一切都將變得可能。同樣可能的是地球上所有生命的終結(jié)。

當(dāng)一個(gè)超人工智能出生的時(shí)候，對(duì)我們來(lái)說(shuō)就像一個(gè)全能的上帝降臨地球一般。

這篇文章的第一部分完了，我建議你休息一下，喝點(diǎn)水，下面我們要開(kāi)始第二部分。

第二部分開(kāi)始：

文章的第一部分討論了已經(jīng)在我們?nèi)粘Ｉ钪须S處可見(jiàn)的弱人工智能，然后討論了為什么從弱人工智能到強(qiáng)人工智能是個(gè)很大的挑戰(zhàn)，然后我們談到了為什么技術(shù)進(jìn)步的指數(shù)級(jí)增長(zhǎng)表面強(qiáng)人工智能可能并不那么遙遠(yuǎn)。第一部分的結(jié)束，我們談到了一旦機(jī)器達(dá)到了人類級(jí)別的智能，我們將見(jiàn)到如下的場(chǎng)景：

這讓我們無(wú)所適從，尤其考慮到超人工智能可能會(huì)發(fā)生在我們有生之年，我們都不知道該用什么表情來(lái)面對(duì)。

再我們繼續(xù)深入這個(gè)話題之前，讓我們提醒一下自己超級(jí)智能意味著什么。

很重要的一點(diǎn)是速度上的超級(jí)智能和質(zhì)量上的超級(jí)智能的區(qū)別。很多人提到和人類一樣聰明的超級(jí)智能的電腦，第一反應(yīng)是它運(yùn)算速度會(huì)非常非?？臁秃孟褚粋€(gè)運(yùn)算速度是人類百萬(wàn)倍的機(jī)器，能夠用幾分鐘時(shí)間思考完人類幾十年才能思考完的東西

這聽(tīng)起來(lái)碉堡了，而且超人工智能確實(shí)會(huì)比人類思考的快很多，但是真正的差別其實(shí)是在智能的質(zhì)量而不是速度上。用人類來(lái)做比喻，人類之所以比猩猩智能很多，真正的差別并不是思考的速度，而是人類的大腦有一些獨(dú)特而復(fù)雜的認(rèn)知模塊，這些模塊讓我們能夠進(jìn)行復(fù)雜的語(yǔ)言呈現(xiàn)、長(zhǎng)期規(guī)劃、或者抽象思考等等，而猩猩的腦子是做不來(lái)這些的。就算你把猩猩的腦子加速幾千倍，它還是沒(méi)有辦法在人類的層次思考的，它依然不知道怎樣用特定的工具來(lái)搭建精巧的模型——人類的很多認(rèn)知能力是猩猩永遠(yuǎn)比不上的，你給猩猩再多的時(shí)間也不行。

而且人和猩猩的智能差別不只是猩猩做不了我們能做的事情，而是猩猩的大腦根本不能理解這些事情的存在——猩猩可以理解人類是什么，也可以理解摩天大樓是什么，但是它不會(huì)理解摩天大樓是被人類造出來(lái)的，對(duì)于猩猩來(lái)說(shuō)，摩天大樓那么巨大的東西肯定是天然的，句號(hào)。對(duì)于猩猩來(lái)說(shuō)，它們不但自己造不出摩天大樓，它們甚至沒(méi)法理解摩天大樓這東西能被任何東西造出來(lái)。而這一切差別，其實(shí)只是智能的質(zhì)量中很小的差別造成的。

而當(dāng)我們?cè)谟懻摮斯ぶ悄軙r(shí)候，智能的范圍是很廣的，和這個(gè)范圍比起來(lái)，人類和猩猩的智能差別是細(xì)微的。如果生物的認(rèn)知能力是一個(gè)樓梯的話，不同生物在樓梯上的位置大概是這樣的：

要理解一個(gè)具有超級(jí)智能的機(jī)器有多牛逼，讓我們假設(shè)一個(gè)在上圖的樓梯上站在深綠色臺(tái)階上的一個(gè)機(jī)器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個(gè)機(jī)器只是稍微有點(diǎn)超級(jí)智能而已，但是它的認(rèn)知能力之于人類，就好像人類的認(rèn)知能力之于猩猩一樣。就好像猩猩沒(méi)有辦法理解摩天大樓是能被造出來(lái)的一樣，人類完全沒(méi)有辦法理解比人類高兩層臺(tái)階的機(jī)器能做的事情。就算這個(gè)機(jī)器試圖向我們解釋，效果也會(huì)像教猩猩造摩天大樓一般。

而這，只是比我們高了兩層臺(tái)階的智能罷了，站在這個(gè)樓梯頂層的智能之于人類，就好像人類之于螞蟻一般——它就算花再多時(shí)間教人類一些最簡(jiǎn)單的東西，我們依然是學(xué)不會(huì)的。

但是我們討論的超級(jí)智能并不是站在這個(gè)樓梯頂層，而是站在遠(yuǎn)遠(yuǎn)高于這個(gè)樓梯的地方。當(dāng)智能爆炸發(fā)生時(shí)，它可能要花幾年時(shí)間才能從猩猩那一層往上邁一步，但是這個(gè)步子會(huì)越邁越快，到后來(lái)可能幾個(gè)小時(shí)就能邁一層，而當(dāng)它超過(guò)人類十層臺(tái)階的時(shí)候，它可能開(kāi)始跳著爬樓梯了——一秒鐘爬四層臺(tái)階也未嘗不可。所以讓我們記住，當(dāng)?shù)谝粋€(gè)到達(dá)人類智能水平的強(qiáng)人工智能出現(xiàn)后，我們將在很短的時(shí)間內(nèi)面對(duì)一個(gè)站在下圖這樣很高很高的樓梯上的智能（甚至比這更高百萬(wàn)倍）：

前面已經(jīng)說(shuō)了，試圖去理解比我們高兩層臺(tái)階的機(jī)器就已經(jīng)是徒勞的，所以讓我們很肯定的說(shuō)，我們是沒(méi)有辦法知道超人工智能會(huì)做什么，也沒(méi)有辦法知道這些事情的后果。任何假裝知道的人都沒(méi)搞明白超級(jí)智能是怎么回事。

自然演化花了幾億年時(shí)間發(fā)展了生物大腦，按這種說(shuō)法的話，一旦人類創(chuàng)造出一個(gè)超人工智能，我們就是在碾壓自然演化了。當(dāng)然，可能這也是自然演化的一部分——可能演化真正的模式就是創(chuàng)造出各種各樣的智能，直到有一天有一個(gè)智能能夠創(chuàng)造出超級(jí)智能，而這個(gè)節(jié)點(diǎn)就好像踩上了地雷的絆線一樣，會(huì)造成全球范圍的大爆炸，從而改變所有生物的命運(yùn)。

科學(xué)界中大部分人認(rèn)為踩上絆線不是會(huì)不會(huì)的問(wèn)題，而是時(shí)間早晚的問(wèn)題。想想真嚇人。

那我們?cè)撛趺崔k呢？

可惜，沒(méi)有人都告訴你踩到絆線后會(huì)發(fā)生什么。但是人工智能思想家Nick Bostrom認(rèn)為我們會(huì)面臨兩類可能的結(jié)果——永生和滅絕。

首先，回顧歷史，我們可以看到大部分的生命經(jīng)歷了這樣的歷程：物種出現(xiàn)，存在了一段時(shí)間，然后不可避免的跌落下生命的平衡木，跌入滅絕的深淵。

歷史上來(lái)說(shuō)，“所有生物終將滅絕”就像“所有人都會(huì)死”一樣靠譜。至今為止，存在過(guò)的生物中99.9%都已經(jīng)跌落了生命的平衡木，如果一個(gè)生物繼續(xù)在平衡木上走，早晚會(huì)有一陣風(fēng)把它吹下去。Bostrom把滅絕列為一種吸引態(tài)——所有生物都有墜入的風(fēng)險(xiǎn)，而一旦墜入將沒(méi)有回頭。

雖然大部分科學(xué)家都承認(rèn)一個(gè)超人工智能有把人類滅絕的能力，也有一些人為如果運(yùn)用得當(dāng)，超人工智能可以幫助人類和其它物種，達(dá)到另一個(gè)吸引態(tài)——永生。Bostrom認(rèn)為物種的永生和滅絕一樣都是吸引態(tài)，也就是我一旦我們達(dá)成了永生，我們將永遠(yuǎn)不再面臨滅絕的危險(xiǎn)——我們戰(zhàn)勝了死亡和幾率。所以，雖然絕大多數(shù)物種都從平衡木上摔了下去滅絕了，Bostrom認(rèn)為平衡木外是有兩面的，只是至今為止地球上的生命還沒(méi)聰明到發(fā)現(xiàn)怎樣去到永生這另一個(gè)吸引態(tài)。

如果Bostrom等思想家的想法是對(duì)的，而且根據(jù)我的研究他們確實(shí)很可能是對(duì)的，那么我們需要接受兩個(gè)事實(shí)：

1）超人工智能的出現(xiàn)，將有史以來(lái)第一次，將物種的永生這個(gè)吸引態(tài)變?yōu)榭赡?/p>

2）超人工智能的出現(xiàn)，將造成非常巨大的沖擊，而且這個(gè)沖擊可能將人類吹下平衡木，并且落入其中一個(gè)吸引態(tài)

有可能，當(dāng)自然演化踩到絆線的時(shí)候，它會(huì)永久的終結(jié)人類和平衡木的關(guān)系，創(chuàng)造一個(gè)新的世界，不管這時(shí)人類還是不是存在。

而現(xiàn)在的問(wèn)題就是：“我們什么時(shí)候會(huì)踩到絆線？”以及“從平衡木上跌下去后我們會(huì)掉入哪個(gè)吸引態(tài)？”

沒(méi)人知道答案，但是一些聰明人已經(jīng)思考了幾十年，接下來(lái)我們看看他們想出來(lái)了些什么。

___________

先來(lái)討論“我們什么時(shí)候會(huì)踩到絆線？”也就是什么時(shí)候會(huì)出現(xiàn)第一個(gè)超級(jí)智能。

這些人相信超級(jí)智能會(huì)發(fā)生在不久的將來(lái)，因?yàn)橹笖?shù)級(jí)增長(zhǎng)的關(guān)系，雖然機(jī)器學(xué)習(xí)現(xiàn)在還發(fā)展緩慢，但是在未來(lái)幾十年就會(huì)變得飛快。

其它的，比如微軟創(chuàng)始人Paul Allen，心理學(xué)家Gary Marcus，NYU的電腦科學(xué)家Ernest Davis，以及科技創(chuàng)業(yè)者M(jìn)itch Kapor認(rèn)為Kurzweil等思想家低估了人工智能的難度，并且認(rèn)為我們離絆線還挺遠(yuǎn)的。

Kurzweil一派則認(rèn)為唯一被低估的其實(shí)是指數(shù)級(jí)增長(zhǎng)的潛力，他們把質(zhì)疑他們理論的人比作那些1985年時(shí)候看到發(fā)展速度緩慢的因特網(wǎng)，然后覺(jué)得因特網(wǎng)在未來(lái)不會(huì)有什么大影響的人一樣。

而質(zhì)疑者們則認(rèn)為智能領(lǐng)域的發(fā)展需要達(dá)到的進(jìn)步同樣是指數(shù)級(jí)增長(zhǎng)的，這其實(shí)把技術(shù)發(fā)展的指數(shù)級(jí)增長(zhǎng)抵消了。

爭(zhēng)論如此反復(fù)。

第三個(gè)陣營(yíng)，包括Nick Bostrom在內(nèi)，認(rèn)為其它兩派都沒(méi)有理由對(duì)踩絆線的時(shí)間那么有信心，他們同時(shí)認(rèn)為 a) 這事情完全可能發(fā)生在不久的未來(lái) b)但是這個(gè)事情沒(méi)個(gè)準(zhǔn)，說(shuō)不定會(huì)花更久

還有不屬于三個(gè)陣營(yíng)的其他人，比如哲學(xué)家Hubert Dreyfus，相信三個(gè)陣營(yíng)都太天真了，根本就沒(méi)有什么絆線。超人工智能是不會(huì)被實(shí)現(xiàn)的。

當(dāng)你把所有人的觀點(diǎn)全部融合起來(lái)的話是怎樣呢？

2013年的時(shí)候，Bostrom做了個(gè)問(wèn)卷調(diào)查，涵蓋了數(shù)百位人工智能專家，問(wèn)卷的內(nèi)容是“你預(yù)測(cè)人類級(jí)別的強(qiáng)人工智能什么時(shí)候會(huì)實(shí)現(xiàn)”，并且讓回答者給出一個(gè)樂(lè)觀估計(jì)（強(qiáng)人工智能有10%的可能在這一年達(dá)成），正常估計(jì)（有50%的可能達(dá)成），和悲觀估計(jì)（有90%可能達(dá)成）。當(dāng)把大家的回答統(tǒng)計(jì)后，得出了下面的結(jié)果：

樂(lè)觀估計(jì)中位年（強(qiáng)人工智能有10%的可能在這一年達(dá)成）：2022年

正常估計(jì)中位年（強(qiáng)人工智能有50%的可能在這一年達(dá)成）：2040年

悲觀估計(jì)中位年（強(qiáng)人工智能有90%的可能在這一年達(dá)成）：2075年

所以一個(gè)中位的人工智能專家認(rèn)為25年后的2040年我們能達(dá)成強(qiáng)人工智能，而2075年這個(gè)悲觀估計(jì)表明，如果你現(xiàn)在夠年輕，有一半以上的人工智能專家認(rèn)為在你的有生之年能夠有90%的可能見(jiàn)到強(qiáng)人工智能的實(shí)現(xiàn)。

另外一個(gè)獨(dú)立的調(diào)查，由作家James Barrat在Ben Goertzel的強(qiáng)人工智能年會(huì)上進(jìn)行，他直接問(wèn)了參與者認(rèn)為強(qiáng)人工智能哪一年會(huì)實(shí)現(xiàn)，選項(xiàng)有2030年，2050年，2100年，和永遠(yuǎn)不會(huì)實(shí)現(xiàn)。結(jié)果是：

2030年：42%的回答者認(rèn)為強(qiáng)人工智能會(huì)實(shí)現(xiàn)

2050年：25%的回答者

2100年：20%

2100年以后：10%

永遠(yuǎn)不會(huì)實(shí)現(xiàn)：2%

這個(gè)結(jié)果和Bostrom的結(jié)果很相似。在Barrat的問(wèn)卷中，有超過(guò)三分之二的參與者認(rèn)為強(qiáng)人工智能會(huì)在2050年實(shí)現(xiàn)，有近乎半數(shù)（42%）的人認(rèn)為未來(lái)15年（2030年）就能實(shí)現(xiàn)。并且，只有2%的參與者認(rèn)為強(qiáng)人工智能永遠(yuǎn)不會(huì)實(shí)現(xiàn)。

但是強(qiáng)人工智能并不是絆線，超人工智能才是。那么專家們對(duì)超人工智能是怎么想的呢？

Bostrom的問(wèn)卷還詢問(wèn)專家們認(rèn)為達(dá)到超人工智能要多久，選項(xiàng)有a)達(dá)成強(qiáng)人工智能兩年內(nèi)，b)達(dá)成強(qiáng)人工智能30年內(nèi)。問(wèn)卷結(jié)果如下：

中位答案認(rèn)為強(qiáng)人工智能到超人工智能只花2年時(shí)間的可能性只有10%左右，但是30年之內(nèi)達(dá)成的可能性高達(dá)75%

從以上答案，我們可以估計(jì)一個(gè)中位的專家認(rèn)為強(qiáng)人工智能到超人工智能可能要花20年左右。所以，我們可以得出，現(xiàn)在全世界的人工智能專家中，一個(gè)中位的估計(jì)是我們會(huì)在2040年達(dá)成強(qiáng)人工智能，并在20年后的2060年達(dá)成超人工智能——也就是踩上了絆線。

當(dāng)然，以上所有的數(shù)據(jù)都是推測(cè)，它只代表了現(xiàn)在人工智能領(lǐng)域的專家的中位意見(jiàn)，但是它告訴我們的是，很大一部分對(duì)這個(gè)領(lǐng)域很了解的人認(rèn)為2060年是一個(gè)實(shí)現(xiàn)超人工智能的合理預(yù)測(cè)——距今只有45年。

那么我們來(lái)看一下下一個(gè)問(wèn)題，踩到絆線后，我們將跌向平衡木的哪一個(gè)方向？

超級(jí)智能會(huì)產(chǎn)生巨大的力量，所以關(guān)鍵的問(wèn)題時(shí)——到時(shí)這股力量究竟由誰(shuí)掌握，掌握這份力量的人會(huì)怎么做？

這個(gè)問(wèn)題的答案將決定超人工智能究竟是天堂還是地獄。

同樣的，專家們?cè)谶@個(gè)問(wèn)題上的觀點(diǎn)也不統(tǒng)一。Bostrom的問(wèn)卷顯示專家們看待強(qiáng)人工智能對(duì)于人類社會(huì)的影響時(shí)，52%認(rèn)為結(jié)果會(huì)是好或者非常好的，31%認(rèn)為會(huì)是糟糕的或者非常糟糕的，只有17%的人認(rèn)為結(jié)果會(huì)是不好不壞的。也就是說(shuō)，這個(gè)領(lǐng)域的專家普遍認(rèn)為這將是一個(gè)很大的事情，不論結(jié)果好壞。要注意的是，這個(gè)問(wèn)題問(wèn)的是強(qiáng)人工智能，如果問(wèn)的是超人工智能，認(rèn)為結(jié)果不好不壞的人可能不會(huì)有17%這么多。

在我們深入討論好壞這個(gè)問(wèn)題之前，我們先把“什么時(shí)候會(huì)發(fā)生”和“這是好事還是壞事”的結(jié)果綜合起來(lái)畫(huà)張表，這代表了大部分專家的觀點(diǎn)：

我們等下再考慮主流陣營(yíng)的觀點(diǎn)。咱們先來(lái)問(wèn)一下你自己是怎么想的，其實(shí)我大概能猜到你是怎么想的，因?yàn)槲议_(kāi)始研究這個(gè)問(wèn)題前也是這樣的想的。很多人其實(shí)不關(guān)心這個(gè)話題，原因無(wú)非是：

像本文第一部分所說(shuō)，電影展示了很多不真實(shí)的人工智能場(chǎng)景，讓我們認(rèn)為人工智能不是正經(jīng)的課題。作家James Barrat把這比作傳染病控制中心發(fā)布吸血鬼警報(bào)一樣滑稽。

因?yàn)檎J(rèn)知偏差，所以我們?cè)谝?jiàn)到證據(jù)前很難相信一件事情是真的。我確信1988年的時(shí)候電腦科學(xué)家們就已經(jīng)常在討論因特網(wǎng)將是多么重要，但是一般人并不會(huì)認(rèn)為因特網(wǎng)會(huì)改變他們的生活——直到他們的生活真的被改變了。一方面，1988年的電腦確實(shí)不夠給力，所以那時(shí)的人們看著電腦會(huì)想：“這破玩意兒也能改變我的生活，你逗我吧？”人們的想象力被自己對(duì)于電腦的體驗(yàn)而約束。讓他們難以想象電腦會(huì)變成現(xiàn)在的樣子。同樣的事情正發(fā)生在人工智能領(lǐng)域。我們聽(tīng)到很多人說(shuō)人工智能將會(huì)造成很大影響，但是因?yàn)檫@個(gè)事情還沒(méi)發(fā)生，因?yàn)槲覀兒鸵恍┤醣说娜斯ぶ悄芟到y(tǒng)的個(gè)人經(jīng)歷，讓我們難以相信這東西真的能改變我們的生活。而這些認(rèn)知偏差，正是專家們?cè)谂?duì)抗的。

就算我們相信人工智能的巨大潛力，你今天又花了多少時(shí)間思考“在接下來(lái)的永恒中，絕大部分時(shí)間我都不會(huì)再存在”這個(gè)問(wèn)題？雖然這個(gè)問(wèn)題比你今天干的大部分事情都重要很多，但是正常人都不會(huì)老是想這個(gè)吧。這是因?yàn)槟愕拇竽X總是關(guān)注日常的小事，不管長(zhǎng)期來(lái)看有多少重要的事情，我們天生就是這么思考的。

這篇東西的主要目標(biāo)就是讓你脫離普通人陣營(yíng)，加入專家思考的陣營(yíng)，哪怕能讓你站到兩條不確定線的交點(diǎn)上，目標(biāo)也達(dá)到了。

在我的研究中，我見(jiàn)識(shí)到了各種各樣的觀點(diǎn)，但是我發(fā)現(xiàn)大多數(shù)人的觀點(diǎn)都停留在主流陣營(yíng)中。事實(shí)上超過(guò)四分之三的專家都屬于主流陣營(yíng)中的兩個(gè)小陣營(yíng)：焦慮大道和信心角

我們將對(duì)這兩個(gè)小陣營(yíng)做深入的談?wù)?，讓我們從比較有趣的那個(gè)開(kāi)始吧

為什么未來(lái)會(huì)是天堂

研究人工智能這個(gè)領(lǐng)域后，我發(fā)現(xiàn)有比預(yù)期的多得多的人站在信心角當(dāng)中：

站在信心角中的人非常興奮，他們認(rèn)為他們將走向平衡木下比較有趣的那個(gè)吸引態(tài)，未來(lái)將實(shí)現(xiàn)他們的夢(mèng)想，他們只需耐心等待。

把這一部分人從其他思想家區(qū)分開(kāi)來(lái)的是這些人對(duì)于比較有趣的那個(gè)吸引態(tài)的欲望——他們很有信心永生是我們的發(fā)展方向。

這份信心是哪里來(lái)的不好說(shuō)，評(píng)論家認(rèn)為是這些人太過(guò)興奮而產(chǎn)生了盲點(diǎn)，忽略了可能的負(fù)面結(jié)果。但是信心角的人還是把批評(píng)者當(dāng)作末日論者來(lái)看待，他們認(rèn)為技術(shù)會(huì)繼續(xù)幫助我們而不是傷害我們。

兩邊的觀點(diǎn)我們都會(huì)說(shuō)，這樣你能形成自己的觀點(diǎn)，但是在讀下面的內(nèi)容前，請(qǐng)把質(zhì)疑暫時(shí)擱置，讓我們看看平衡木兩邊究竟有什么，并且記住這些事情是有可能發(fā)生的。如果我們給一個(gè)打獵采集者看我們現(xiàn)在的舒適家居、技術(shù)、富庶，在他眼里這一切也會(huì)像魔法一樣——我們也要接受未來(lái)完全可能出現(xiàn)能把我們嚇尿的變革。

Bostrom描述了三種超人工智能可能的工作模式

- 先知模式：能準(zhǔn)確回答幾乎所有的問(wèn)題，包括對(duì)人類來(lái)說(shuō)很困難的復(fù)雜問(wèn)題，比如“怎樣造一個(gè)更好的汽車引擎？”

- 精靈模式：能夠執(zhí)行任何高級(jí)指令，比如用分子組合器造一個(gè)更好的汽車引擎出來(lái)

- 獨(dú)立意志模式（sovereign）:可以執(zhí)行開(kāi)放式的任務(wù)，能在世界里自由活動(dòng)，可以自己做決定，比如發(fā)明一種比汽車更快、更便宜、更安全的交通模式。

這些對(duì)人類來(lái)說(shuō)很復(fù)雜的問(wèn)題，對(duì)于一個(gè)超級(jí)智能來(lái)說(shuō)可能就像“我的筆掉了，你能幫我撿一下嗎？”這么簡(jiǎn)單。

Eliezer Yudkowsky，是這么說(shuō)的：

“根本沒(méi)有困難的問(wèn)題，只有對(duì)于特定級(jí)別的智能來(lái)說(shuō)難的問(wèn)題。在智能的階梯上走一小步，一些不可能的問(wèn)題就變得簡(jiǎn)單了，如果走一大步，所有問(wèn)題都變得簡(jiǎn)單了?！?/blockquote>

信心角里有很多熱忱的科學(xué)家、發(fā)明家和創(chuàng)業(yè)者，但是對(duì)于人工智能的未來(lái)最有發(fā)言權(quán)的，當(dāng)屬Ray Kurzweil.

對(duì)于Kurzweil的評(píng)價(jià)非常兩極化，既有如對(duì)神人般的崇拜，也有翻白眼似的不屑。也有一些中立主義者，比如作家Douglas Hofstadter，他覺(jué)得Kurzweil的觀點(diǎn)就好像把美食和狗屎混在一起，讓你分不清是好是壞。

不管你同不同意Kurzweil的觀點(diǎn)，他都是一個(gè)牛人。他年輕時(shí)候就開(kāi)始搞發(fā)明，之后幾十年發(fā)明了很多東西，比如第一臺(tái)平板掃描儀，第一臺(tái)能把文字轉(zhuǎn)化為語(yǔ)言的掃描儀（盲人使用），著名的Kurzweil音樂(lè)合成器（第一臺(tái)真正意義上的電子鋼琴），以及第一套商業(yè)銷售的語(yǔ)音識(shí)別系統(tǒng)。他是五本暢銷書(shū)的作者。他很喜歡做大膽的預(yù)測(cè)，而且一直很準(zhǔn)，比如他80年代末的時(shí)候預(yù)測(cè)到2000年后因特網(wǎng)會(huì)成為全球級(jí)的現(xiàn)象。他被《華爾街日?qǐng)?bào)》成為“不休的天才”，被《福布斯》稱為“終極思想機(jī)器”，被《Inc.》稱作“愛(ài)迪生真正的傳人”，被比爾蓋茨稱為“我認(rèn)識(shí)的對(duì)人工智能預(yù)測(cè)最厲害的人?！?012年谷歌創(chuàng)始人Larry Page曾邀請(qǐng)他擔(dān)任谷歌的工程總監(jiān)，2011年他共同創(chuàng)立了奇點(diǎn)大學(xué)（Singularity University），現(xiàn)在大學(xué)由美國(guó)太空總署運(yùn)運(yùn)營(yíng)，由谷歌贊助。

Kurzweil的經(jīng)歷很重要，因?yàn)楫?dāng)他講述自己對(duì)未來(lái)的愿景時(shí)，他聽(tīng)起來(lái)就是個(gè)瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識(shí)。你可能覺(jué)得他對(duì)于未來(lái)的想法是錯(cuò)的，但是他不傻。知道他是一個(gè)聰明人讓我很開(kāi)心，因?yàn)楫?dāng)我知道他對(duì)未來(lái)的預(yù)測(cè)后，我急切的很希望他的預(yù)測(cè)是對(duì)的。信心角中的很多思想家都認(rèn)同Kurzweil的預(yù)測(cè)，他也有很多粉絲，被稱為奇點(diǎn)主義者。

時(shí)間線

Kurzweil相信電腦會(huì)在2029年達(dá)成強(qiáng)人工智能，而到了2045年，我們不但會(huì)有超人工智能，還會(huì)有一個(gè)完全不同的世界——奇點(diǎn)時(shí)代。他的人工智能時(shí)間線曾經(jīng)被認(rèn)為非常的狂熱，現(xiàn)在也還是有很多人這么認(rèn)為，但是過(guò)去15年弱人工智能的快速發(fā)展讓更多的專家靠近了Kurzweil的時(shí)間線。雖然他的時(shí)間線比之前提到的2040年和2060年更加早，但是并沒(méi)有早多少。

Kurzweil的奇點(diǎn)時(shí)代是三個(gè)技術(shù)領(lǐng)域的共同革命造成的——生物技術(shù)、納米技術(shù)和最重要的人工智能技術(shù)。

在我們繼續(xù)討論人工智能前，讓我們談一下納米技術(shù)這個(gè)任何關(guān)于人工智能的討論都會(huì)涉及到的領(lǐng)域

納米技術(shù)

納米技術(shù)說(shuō)的是在1-100納米的范圍內(nèi)操縱物質(zhì)的技術(shù)。一納米是一米的十億分之一，是一毫米的一百萬(wàn)分之一。1-100納米這個(gè)范圍涵蓋了病毒（100納米長(zhǎng)），DNA（10納米寬）， 大分子比如血紅蛋白（5納米），和中分子比如葡萄糖（1納米）。當(dāng)我們能夠完全掌握納米技術(shù)的時(shí)候，我們離在原子層面操縱物質(zhì)就只差一步了，因?yàn)槟侵皇且粋€(gè)數(shù)量級(jí)的差距（約0.1納米）。

要了解在納米量級(jí)操縱物質(zhì)有多困難，我們可以換個(gè)角度來(lái)比較。國(guó)際空間站距離地面431公里。如果一個(gè)人身高431公里，也就是他站著能夠頂?shù)絿?guó)際空間站的話，他將是普通人類的25萬(wàn)倍大。如果你把1-100納米放大25萬(wàn)倍，你算出的是0.25毫米-25毫米。所以人類使用納米技術(shù)，就相當(dāng)于一個(gè)身高431公里的巨人用沙子那么大的零件搭精巧的模型。如果要達(dá)到原子級(jí)別操縱物質(zhì)，就相當(dāng)于讓這個(gè)431公里高的巨人使用0.025毫米大的零件。

關(guān)于納米技術(shù)的思考，最早由物理學(xué)家費(fèi)曼在1959年提出，他解釋道：“據(jù)我所知，物理學(xué)的原理，并不認(rèn)為在原子級(jí)別操縱物質(zhì)是不可能的。原則上來(lái)說(shuō)，物理學(xué)家能夠制造出任何化學(xué)家能寫出來(lái)的物質(zhì)——只要把一個(gè)個(gè)原子按照化學(xué)家寫出來(lái)的放在一起就好了?！逼鋵?shí)就是這么簡(jiǎn)單，所以我們只要知道怎樣移動(dòng)單個(gè)的分子和原子，我們就可以造出任何東西。

工程師Eric Drexler提出納米級(jí)組裝機(jī)后，納米技術(shù)在1986年成為了一門正經(jīng)的學(xué)科。納米級(jí)組裝機(jī)的工作原理是這樣的：一個(gè)牛逼掃描儀掃描物件的3D原子模型，然后自動(dòng)生成用來(lái)組裝的軟件。然后由一臺(tái)中央電腦和數(shù)萬(wàn)億的納米“機(jī)器人”，通過(guò)軟件用電流來(lái)指揮納米機(jī)器人，最后組成所需要的物件。

--------------------------

再扯遠(yuǎn)一點(diǎn)
納米技術(shù)有一些不是那么有趣的部分——能夠制造數(shù)萬(wàn)億的納米機(jī)器人唯一合理的方法就是制造可以自我復(fù)制的范本，然后讓指數(shù)級(jí)增長(zhǎng)來(lái)完成建造任務(wù)。很機(jī)智吧？

是很機(jī)智，但是這一不小心就會(huì)造成世界末日。指數(shù)級(jí)增長(zhǎng)雖然能很快的制造數(shù)萬(wàn)億的納米機(jī)器人，但這也是它可怕的地方——如果系統(tǒng)出故障了，指數(shù)級(jí)增長(zhǎng)沒(méi)有停下來(lái)，那怎么辦？納米機(jī)器人將會(huì)吞噬所有碳基材料來(lái)支持自我復(fù)制，而不巧的是，地球生命就是碳基的。地球上的生物質(zhì)量大概包含10^45個(gè)碳原子。一個(gè)納米機(jī)器人有10^6個(gè)碳原子的話，只需要10^39個(gè)納米機(jī)器人就能吞噬地球上全部的生命了，而2^130約等于10^39，也就是說(shuō)自我復(fù)制只要進(jìn)行130次就能吞噬地球生命了。科學(xué)家認(rèn)為納米機(jī)器人進(jìn)行一次自我復(fù)制只要100秒左右，也就是說(shuō)一個(gè)簡(jiǎn)單的錯(cuò)誤可能就會(huì)在3.5小時(shí)內(nèi)毀滅地球上全部的生命。

更糟糕的是，如果恐怖分子掌握了納米機(jī)器人技術(shù)，并且知道怎么操縱它們的話，他可以先造幾萬(wàn)億個(gè)納米機(jī)器人，然后讓它們散播開(kāi)來(lái)。然后他就能發(fā)動(dòng)襲擊，這樣只要花一個(gè)多小時(shí)納米機(jī)器人就能吞噬一切，而且這種攻擊無(wú)法阻擋。未來(lái)真的是能把人嚇尿的。

------------------------

等我們掌握了納米技術(shù)后，我們就能用它來(lái)制造技術(shù)產(chǎn)品、衣服、食物、和生物產(chǎn)品，比如人造紅細(xì)胞、癌癥細(xì)胞摧毀者、肌肉纖維等等。而在納米技術(shù)的世界里，一個(gè)物質(zhì)的成本不再取決于它的稀缺程度或是制造流程的難度，而在于它的原子結(jié)構(gòu)有多復(fù)雜。在納米技術(shù)的時(shí)代，鉆石可能比橡皮擦還便宜。

我們還沒(méi)掌握這種技術(shù)，我們甚至不知道我們對(duì)于達(dá)成這種技術(shù)的難度是高估了還是低估了，但是我們看上去離那并不遙遠(yuǎn)。Kurzweil預(yù)測(cè)我們會(huì)在21世紀(jì)20年代掌握這樣的技術(shù)。各國(guó)政府知道納米技術(shù)將能改變地球，所以他們投入了很多錢到這個(gè)領(lǐng)域，美國(guó)、歐盟和日本至今已經(jīng)投入了50億美元。

設(shè)想一下，一個(gè)具有超級(jí)智能的電腦，能夠使用納米級(jí)的組裝器，是種什么樣的體驗(yàn)？要記得納米技術(shù)是我們?cè)谘芯康耐嬉鈨?，而且我們就快掌握這項(xiàng)技術(shù)了，而我們能做的一切在超人工智能看來(lái)就是小兒科罷了，所以我們要假設(shè)超人工智能能夠創(chuàng)造出比這要發(fā)達(dá)很多很多的技術(shù)，發(fā)達(dá)到我們的大腦都沒(méi)有辦法理解。

因此，當(dāng)考慮“如果人工智能革命的成果對(duì)我們是好的”這個(gè)命題的時(shí)候，要記得我們根本沒(méi)法高估會(huì)發(fā)生什么。所以就算下面對(duì)于超人工智能的預(yù)測(cè)顯得太不靠譜，要記得這些進(jìn)展可能是用我們沒(méi)有辦法想象的方法達(dá)成的。事實(shí)上，我們的大腦很可能根本沒(méi)法預(yù)測(cè)將會(huì)發(fā)生什么。

----------------

人工智能能為我們做什么

擁有了超級(jí)智能和超級(jí)智能所能創(chuàng)造的技術(shù)，超人工智能可以解決人類世界的所有問(wèn)題。氣候變暖？超人工智能可以用更優(yōu)的方式產(chǎn)生能源，完全不需要使用化石燃料，從而停止二氧化碳排放。然后它能創(chuàng)造方法移除多余的二氧化碳。癌癥？沒(méi)問(wèn)題，有了超人工智能，制藥和健康行業(yè)將經(jīng)歷無(wú)法想象的革命。世界饑荒？超人工智能可以用納米技術(shù)直接搭建出肉來(lái)，而這些搭建出來(lái)的肉和真肉在分子結(jié)構(gòu)上會(huì)是完全相同的——換句話說(shuō)，就是真肉。

納米技術(shù)能夠把一堆垃圾變成一堆新鮮的肉或者其它食品，然后用超級(jí)發(fā)達(dá)的交通把這些食物分配到世界各地。這對(duì)于動(dòng)物也是好消息，我們不需要屠殺動(dòng)物來(lái)獲得肉了。而超人工智能在拯救瀕危物種和利用DNA復(fù)活已滅絕物種上面也能做很多事情。超人工智能甚至可以解決復(fù)雜的宏觀問(wèn)題——我們關(guān)于世界經(jīng)濟(jì)和貿(mào)易的爭(zhēng)論將不再必要，甚至我們對(duì)于哲學(xué)和道德的苦苦思考也會(huì)被輕易的解決。

但是，有一件事是如此的吸引人，光是想想就能改變對(duì)所有事物的看法了：

幾個(gè)月前，我提到我很羨慕那些可能達(dá)成了永生的文明。但是，現(xiàn)在，我已經(jīng)在認(rèn)真的考慮達(dá)成永生這個(gè)事情很可能在我們有生之年就能達(dá)成。研讀人工智能讓你重新審思對(duì)于所有事情的看法，包括死亡這一很確定的事情。

自然演化沒(méi)有理由讓我們活得比現(xiàn)在更長(zhǎng)。對(duì)于演化來(lái)說(shuō)，只要我們能夠活到能夠生育后代，并且養(yǎng)育后代到能夠自己保護(hù)自己的年紀(jì)，那就夠了——對(duì)演化來(lái)說(shuō)，活30多歲完全夠了，所以額外延長(zhǎng)生命的基因突變并不被自然選擇所鐘愛(ài)。這其實(shí)是很無(wú)趣的事情。

而且因?yàn)樗腥硕紩?huì)死，所以我們總是說(shuō)“死亡和繳稅”是不可避免的。我們看待衰老就像看待時(shí)間一樣——它們一直向前，而我們沒(méi)有辦法阻止它們。

但是這個(gè)假設(shè)是錯(cuò)的，費(fèi)曼曾經(jīng)寫道：

“在所有的生物科學(xué)中，沒(méi)有任何證據(jù)說(shuō)明死亡是必需的。如果你說(shuō)你想造永動(dòng)機(jī)，那我們對(duì)于物理學(xué)的研究已經(jīng)讓我們有足夠的理論來(lái)說(shuō)明這是不可能的。但是在生物領(lǐng)域我們還沒(méi)發(fā)現(xiàn)任何證據(jù)證明死亡是不可避免的。也就是說(shuō)死亡不一定是不可避免的，生物學(xué)家早晚會(huì)發(fā)現(xiàn)造成我們死亡的原因是什么，而死亡這個(gè)糟糕的‘病’就會(huì)被治好，而人類的身體也將不再只是個(gè)暫時(shí)的容器?！?/blockquote>

事實(shí)上，衰老和時(shí)間不是綁死的。時(shí)間總是會(huì)繼續(xù)前進(jìn)的，而衰老卻不一定。仔細(xì)想想，衰老只是身體的組成物質(zhì)用舊了。汽車開(kāi)久了也會(huì)舊，但是汽車一定會(huì)衰老嗎？如果你能夠擁有完美的修復(fù)技術(shù)、或者直接替換老舊的汽車部件，這輛車就能永遠(yuǎn)開(kāi)下去。人體只是更加復(fù)雜而已，本質(zhì)上和汽車是一樣的。

Kurzweil提到由Wifi連接的納米機(jī)器人在血液中流動(dòng)，可以執(zhí)行很多人類健康相關(guān)的任務(wù)，包括日常維修，替換死去的細(xì)胞等等。如果這項(xiàng)技術(shù)能夠被完美掌握，這個(gè)流程（或者一個(gè)超人工智能發(fā)明的更好的流程）將能使人的身體永遠(yuǎn)健康，甚至越活越年輕。一個(gè)60歲的人和一個(gè)30歲的人身體上的區(qū)別只是物理上的，只要技術(shù)足夠發(fā)達(dá)我們是能改變這種區(qū)別的。

超人工智能可以建造一個(gè)“年輕機(jī)器”，當(dāng)一個(gè)60歲的人走進(jìn)去后，再出來(lái)時(shí)就擁有了年輕30歲的身體。就算是逐漸糊涂的大腦也可能年輕化，只要超人工智能足夠聰明，能夠發(fā)現(xiàn)不影響大腦數(shù)據(jù)的方法來(lái)改造大腦就好了。一個(gè)90歲的失憶癥患者可以走進(jìn)“年輕機(jī)器”，再出來(lái)時(shí)就擁有了年輕的大腦。這些聽(tīng)起來(lái)很離譜，但是身體只是一堆原子罷了，只要超人工智能可以操縱各種原子結(jié)構(gòu)的話，這就完全不離譜。

Kurzweil的思維繼續(xù)跳躍了一下，他相信人造材料將越來(lái)越多的融入人體。最開(kāi)始，人體器官將被先進(jìn)的機(jī)械器官所代替，而這些機(jī)械器官可以一直運(yùn)行下去。然后我們會(huì)開(kāi)始重新設(shè)計(jì)身體，比如可以用自我驅(qū)動(dòng)的納米機(jī)器人代替血紅細(xì)胞，這樣連心臟都省了。Kurzweil甚至認(rèn)為我們會(huì)改造自己的大腦，使得我們的思考速度比現(xiàn)在快億萬(wàn)倍，并且使得大腦能和云存儲(chǔ)的信息進(jìn)行交流。

我們能獲得的新體驗(yàn)是無(wú)窮的。人類的性愛(ài)，使得人們不但能生育，還能從中享樂(lè)。Kurtzweil認(rèn)為我們可以對(duì)食物做同樣的改造。納米機(jī)器人可以負(fù)責(zé)把身體需要的營(yíng)養(yǎng)物質(zhì)傳送到細(xì)胞中，智能的將對(duì)身體不好的東西排出體外——就像一個(gè)食物避孕套一樣。納米技術(shù)理論家Robert A. Freitas已經(jīng)設(shè)計(jì)了一種紅細(xì)胞的替代品，能夠讓人快速?zèng)_刺15分鐘不需要呼吸——那么超人工智能能對(duì)我們的身體能力做的改造就更加難以想象。虛擬現(xiàn)實(shí)將擁有新的意義——體內(nèi)的納米機(jī)器人將能控制我們從感官獲得的信號(hào)，然后用別的信號(hào)替代他們，讓我們進(jìn)入一個(gè)新的環(huán)境，在新環(huán)境里，我們能聽(tīng)、看、聞、觸摸。。。

最終，Kurzweil認(rèn)為人類會(huì)完全變成人工的。有一天當(dāng)我們看到生物材料，然后覺(jué)得生物材料實(shí)在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會(huì)被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰(zhàn)勝自己的生理，并且變得不可摧毀和永生，這也是平衡木的另一個(gè)吸引態(tài)。他深深的想象我們會(huì)達(dá)到那里，而且就在不久的將來(lái)。

Kurzweil的想法很自然的受到了各方的批評(píng)。他對(duì)于2045年奇點(diǎn)時(shí)代的到來(lái)，以及之后的永生的可能性受到了各種嘲笑——“書(shū)呆子的狂歡”、“高智商人士的創(chuàng)始論”等等。也有人質(zhì)疑他過(guò)于樂(lè)觀的時(shí)間線，以及他對(duì)人腦和人體的理解程度，還有他將摩爾定于應(yīng)用到軟件上的做法。有很多人相信他，但有更多人反對(duì)他。

但是即使如此，那些反對(duì)他的專家并不是反對(duì)他所說(shuō)的一切，反對(duì)他的人說(shuō)的不是“這種事情不可能發(fā)生”，而是說(shuō)“這些當(dāng)然可能發(fā)生，但是到達(dá)超人工智能是很難的。”連經(jīng)常提醒我們?nèi)斯ぶ悄艿臐撛谕{的Bostrom都這么說(shuō)：

很難想象一個(gè)超級(jí)智能會(huì)有什么問(wèn)題是解決不了，或是不能幫著我們解決的。疾病、貧困、環(huán)境毀滅、各種不必要的苦難，這些都是擁有納米科技的超級(jí)智能能夠解決的。而且，超級(jí)智能可以給我們無(wú)限的生命，這可以通過(guò)停止或者逆轉(zhuǎn)衰老來(lái)達(dá)成，也可以讓我們上傳自己的數(shù)據(jù)。一個(gè)超級(jí)智能還能讓我們大幅度提高智商和情商，還能幫助我們創(chuàng)造這種有趣的體驗(yàn)世界，讓我們享樂(lè)。

這是Bostrom這個(gè)明顯不在信心角的人的觀點(diǎn)，但也是很多反對(duì)Kurzweil的專家的觀點(diǎn)，他們不覺(jué)得Kurzweil是在說(shuō)夢(mèng)話，只是覺(jué)得我們首先要安全達(dá)成超人工智能。這也是為什么我覺(jué)得Kurzweil的觀點(diǎn)很有傳染性，他傳達(dá)了正面的信息，而這些事情都是可能的——如果超人工智能是個(gè)仁慈的神的話。

對(duì)信心角的最有力的批評(píng)，是那些信心角里的人都低估了超人工智能的壞處。Kurzweil的暢銷書(shū)《The Singularity is Near》700多頁(yè)，只有20頁(yè)用來(lái)討論人工智能的危險(xiǎn)。前面提到，當(dāng)超人工智能降臨時(shí)我們的命運(yùn)取決于誰(shuí)掌握這股力量，以及他們是不是好人。Kurzweil的回答是“超人工智能正從多方的努力中出現(xiàn)，它將深深的融入我們文明的基建中。它會(huì)親密的被捆綁在我們的身體和大腦中，它會(huì)反映我們的價(jià)值，因?yàn)樗褪俏覀??！?/p>

但如果答案就是這樣的話，為什么這個(gè)世界上最聰明的一些人會(huì)很擔(dān)憂？為什么霍金會(huì)說(shuō)超人工智能會(huì)毀滅人類？為什么比爾蓋茨會(huì)不理解為什么有人不為此擔(dān)憂？為什么馬斯克會(huì)擔(dān)心我們是在召喚惡魔？為什么那么多專家擔(dān)心超人工智能是對(duì)人類最大的威脅？這些站在焦慮大道上的思想家，不認(rèn)同Kurzweil對(duì)于人工智能的危險(xiǎn)的粉飾。他們非常非常擔(dān)心人工智能革命，他們不關(guān)注平衡木下比較有趣的那一個(gè)吸引態(tài)，而是盯著平衡木的另一邊，而他們看到的是可怕的未來(lái)，一個(gè)我們未必能夠逃離的未來(lái)。

___________

未來(lái)可能是我們最糟的惡夢(mèng)

我想了解人工智能的一個(gè)原因是“壞機(jī)器人”總是讓我很困惑。那些關(guān)于邪惡機(jī)器人的電影看起來(lái)太不真實(shí)，我也沒(méi)法想象一個(gè)人工智能變得危險(xiǎn)的真實(shí)情況。機(jī)器人是我們?cè)斓?，難道我們不會(huì)在設(shè)計(jì)時(shí)候防止壞事的發(fā)生嗎？我們難道不能設(shè)立很多安全機(jī)制嗎？再不濟(jì)，難道我們不能拔插頭嗎？而且為什么機(jī)器人會(huì)想要做壞事？或者說(shuō)，為什么機(jī)器人會(huì)“想要”做任何事？我充滿疑問(wèn)，于是我開(kāi)始了解聰明人們的想法。

這些人一般位于焦慮大道：

焦慮大道上的人并不是恐慌或者無(wú)助的——恐慌和無(wú)助在圖上的位置是更加左邊——他們只是緊張。位于圖表的中央不代表他們的立場(chǎng)是中立的——真正中立的人有自己獨(dú)立的陣營(yíng)，他們認(rèn)同極好和極壞兩種可能，但是不確定究竟會(huì)是哪個(gè)。

焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔(dān)心人類現(xiàn)在的表現(xiàn)就好像《奪寶奇兵》中的這位少年：

他拿著自己的鞭子和寶物，非常開(kāi)心，然后他就掛了：

同時(shí)，印第安納瓊斯則更加有見(jiàn)識(shí)和更加謹(jǐn)慎，了解潛在的危險(xiǎn)并且做出相應(yīng)的反應(yīng)，最后安全逃出了山洞。當(dāng)我了解了焦慮大道的人們的想法后，感覺(jué)就像“我們現(xiàn)在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧?！?/p>

那究竟是什么讓焦慮大道的人們?nèi)绱私箲]呢？

首先，廣義上來(lái)講，在創(chuàng)造超人工智能時(shí)，我們其實(shí)是在創(chuàng)造可能一件會(huì)改變所有事情的事物，但是我們對(duì)那個(gè)領(lǐng)域完全不清楚，也不知道我們到達(dá)那塊領(lǐng)域后會(huì)發(fā)生什么?？茖W(xué)家Danny Hillis把這個(gè)比作“就好像單細(xì)胞生物向多細(xì)胞生物轉(zhuǎn)化的時(shí)候那樣，還是阿米巴蟲(chóng)的我們沒(méi)有辦法知道我們究竟在創(chuàng)造什么鬼?！?/p>

Bostrom則擔(dān)憂創(chuàng)造比自身聰明的東西是個(gè)基礎(chǔ)的達(dá)爾文錯(cuò)誤，就好像麻雀媽媽決定收養(yǎng)一只小貓頭鷹，并且覺(jué)得貓頭鷹長(zhǎng)大后會(huì)保護(hù)麻雀一家，但是其它麻雀卻覺(jué)得這是個(gè)糟糕的主意。

當(dāng)你把“對(duì)那個(gè)領(lǐng)域完全不清楚”和“當(dāng)它發(fā)生時(shí)將會(huì)產(chǎn)生巨大的影響”結(jié)合在一起時(shí)，你創(chuàng)造出了一個(gè)很恐怖的詞——

生存危機(jī)指可能對(duì)人類產(chǎn)生永久的災(zāi)難性效果的事情。通常來(lái)說(shuō)，生存危機(jī)意味著滅絕。下面是Bostrom的圖表：

可以看到，生存危機(jī)是用來(lái)指那些跨物種、跨代（永久傷害）并且有嚴(yán)重后果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒(méi)差了。三類事情可能造成人類的生存危機(jī)：

1）自然——大型隕石沖撞，大氣變化使得人類不能生活在空氣中，席卷全球的致命病毒等

2）外星人——霍金、卡爾薩根等建議我們不要對(duì)外廣播自己的位置。他們不想我們變成邀請(qǐng)別人來(lái)殖民的傻子。

3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災(zāi)難性戰(zhàn)爭(zhēng)，還有不經(jīng)思考就造出個(gè)比我們聰明很多的智能

Bostrom指出1和2在我們物種存在的前十萬(wàn)年還沒(méi)有發(fā)生，所以在接下來(lái)一個(gè)世紀(jì)發(fā)生的可能性不大。3則讓他很害怕，他把這些比作一個(gè)裝著玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是紅色的，只有幾個(gè)是黑色的。每次人類發(fā)明一些新東西，就相當(dāng)于從罐中取出一個(gè)玻璃球。大多數(shù)發(fā)明是有利或者中立的——那些是白色玻璃球。有些發(fā)明對(duì)人類是有害的，比如大規(guī)模殺傷性武器——這是那些紅色玻璃球。還有一些發(fā)明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒(méi)摸到黑色玻璃球，但是Bostrom認(rèn)為不久的未來(lái)摸到一個(gè)黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了，那恐怖分子很快會(huì)把我們炸回石器時(shí)代。核武器還算不上黑色玻璃球，但是差的不遠(yuǎn)了。而超人工智能是我們最可能摸到的黑色玻璃球。

你會(huì)聽(tīng)到很多超人工智能帶來(lái)的壞處——人工智能取代人類工人，造成大量失業(yè)；因?yàn)榻鉀Q了衰老造成的人口膨脹。但是真正值得我們擔(dān)心的是生存危機(jī)的可能性。

于是我們又回到了前面的問(wèn)題，當(dāng)超人工智能降臨時(shí)，誰(shuí)會(huì)掌握這份力量，他們又會(huì)有什么目標(biāo)？

當(dāng)我們考慮各種力量持有人和目標(biāo)的排列組合時(shí)，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智能。這會(huì)是什么樣的情況呢？

懷著惡意的人/組織/政府，研發(fā)出第一個(gè)超人工智能，并且用它來(lái)實(shí)現(xiàn)自己的邪惡計(jì)劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個(gè)精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發(fā)人工智能怎么辦？或者說(shuō)伊朗和朝鮮，機(jī)緣巧合，不小心造成了人工智能的快速發(fā)展，達(dá)成了超人工智能怎么辦？這當(dāng)然是很糟糕的事，但是大部分專家認(rèn)為糟糕的地方不在于這些人是壞人，而在于在這些情況下，這些人基本上是不經(jīng)思考就把超人工智能造出來(lái)，而一造出來(lái)就失去了對(duì)超人工智能的控制。

然后這些創(chuàng)造者，連著其他人的命運(yùn)，都取決于這個(gè)超人工智能的動(dòng)機(jī)了。專家認(rèn)為一個(gè)懷著惡意并掌握著超人工智能的人可以造成很大的傷害，但不至于讓我們滅絕，因?yàn)閷＜蚁嘈艍娜撕秃萌嗽诳刂瞥斯ぶ悄軙r(shí)會(huì)面臨一樣的挑戰(zhàn)。

如果被創(chuàng)造出來(lái)的超人工智能是懷有惡意的，并且決定毀滅我，怎么辦？這就是大部分關(guān)于人工智能的電影的劇情。人工智能變得和人類一樣聰明，甚至更加聰明，然后決定對(duì)人類下手——這里要指出，那些提醒我們要警惕人工智能的人談的根本不是這種電影情節(jié)。邪惡是一個(gè)人類的概念，把人類概念應(yīng)用到非人類身上叫作擬人化，本文會(huì)盡量避免這種做法，因?yàn)?span>沒(méi)有哪個(gè)人工智能會(huì)像電影里那樣變成邪惡的。

人工智能的自我意識(shí)

我們開(kāi)始談?wù)摰搅巳斯ぶ悄苡懻摰牧硪粋€(gè)話題——意識(shí)。如果一個(gè)人工智能足夠聰明，它可能會(huì)嘲笑我們，甚至?xí)爸S我們，它會(huì)聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢？它究竟是看起來(lái)有自我意識(shí)，還是確實(shí)擁有自我意識(shí)？或者說(shuō)，聰明的人工智能是否真的會(huì)具有意識(shí)，還是看起來(lái)有意識(shí)？

這個(gè)問(wèn)題已經(jīng)被深入的討論過(guò)，也有很多思想實(shí)驗(yàn)，比如John Searle的中文屋實(shí)驗(yàn)。這是個(gè)很重要的問(wèn)題，因?yàn)樗鼤?huì)影響我們對(duì)Kurzweil提出的人類最終會(huì)完全人工化的看法，它還有道德考量——如果我們模擬出萬(wàn)億個(gè)人腦，而這些人腦表現(xiàn)的和人類一樣，那把這些模擬大腦徹底關(guān)閉的話，在道德上和關(guān)掉電腦是不是一樣的？還是說(shuō)這和種族屠殺是等價(jià)的？本文主要討論人工智能對(duì)人類的危險(xiǎn)，所以人工智能的意識(shí)并不是主要的討論點(diǎn)，因?yàn)榇蟛糠炙枷爰艺J(rèn)為就算是有自我意識(shí)的超人工智能也不會(huì)像人類一樣變得邪惡。

但這不代表非常壞的人工智能不會(huì)出現(xiàn)，只不過(guò)它的出現(xiàn)是因?yàn)樗潜荒菢釉O(shè)定的——比如一個(gè)軍方制造的弱人工智能，被設(shè)定成具有殺人和提高自我智能兩個(gè)功能。當(dāng)這個(gè)人工智能的自我改進(jìn)失控并且造成智能爆炸后，它會(huì)給我們帶來(lái)生存危機(jī)，因?yàn)槲覀兠鎸?duì)的是一個(gè)主要目標(biāo)是殺人的超人工智能——但這也不是專家們擔(dān)心的。

那么專家們究竟擔(dān)心什么呢？我們來(lái)講個(gè)小故事：

一個(gè)15人的小創(chuàng)業(yè)公司，取名叫“隔壁老王機(jī)器人公司”，他們的目標(biāo)是“發(fā)展創(chuàng)新人工智能工具使人類能夠少干活多享受?！彼麄円呀?jīng)有幾款產(chǎn)品上架，還有一些正在發(fā)展。他們對(duì)下一個(gè)叫作“隔壁老王”的項(xiàng)目最報(bào)希望。隔壁老王是一個(gè)簡(jiǎn)單的人工智能系統(tǒng)，它利用一個(gè)機(jī)器臂在小卡片上寫字。

“隔壁老王機(jī)器人公司”的員工認(rèn)為隔壁老王會(huì)是他們最熱賣的產(chǎn)品，他們的目標(biāo)是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——

等隔壁老王手寫能力越來(lái)越強(qiáng)的時(shí)候，它就能被賣去那些需要發(fā)營(yíng)銷信件的公司，因?yàn)槭謱懙男鸥锌赡鼙皇招湃舜蜷_(kāi)。

為了建立隔壁老王的手寫能力，它被設(shè)定成把“我們愛(ài)我們的顧客”用正楷寫，而“隔壁老王機(jī)器人公司”用斜體寫，這樣它能同時(shí)鍛煉兩種書(shū)寫能力。工程師們上傳了數(shù)千份手寫樣本，并且創(chuàng)造了一個(gè)自動(dòng)回饋流程——每次隔壁老王寫完，就拍個(gè)照，然后和樣本進(jìn)行比對(duì)，如果比對(duì)結(jié)果超過(guò)一定標(biāo)準(zhǔn)，就產(chǎn)生一個(gè)正面回饋，反之就產(chǎn)生一個(gè)負(fù)面評(píng)價(jià)。每個(gè)評(píng)價(jià)都會(huì)幫助提高隔壁老王的能力。為了能夠盡快達(dá)成這個(gè)目標(biāo)，隔壁老王最初被設(shè)定的一個(gè)目標(biāo)就是“盡量多的書(shū)寫和測(cè)試，盡量快的執(zhí)行，并且不斷提高效率和準(zhǔn)確性?！?/p>

讓隔壁老王機(jī)器人公司興奮的是，隔壁老王的書(shū)寫越來(lái)越好了。它最開(kāi)始的筆跡很糟糕，但是經(jīng)過(guò)幾個(gè)星期后，看起來(lái)就像人寫的了。它不斷改進(jìn)自己，使自己變得更加創(chuàng)新和聰明，它甚至產(chǎn)生了一個(gè)新的算法，能讓它以三倍的速度掃描上傳的照片。

隨著時(shí)間的推移，隔壁老王的快速進(jìn)展持續(xù)讓工程師們感到欣喜。工程師們對(duì)自我改進(jìn)模塊進(jìn)行了一些創(chuàng)新，使得自我改進(jìn)變得更好了。隔壁老王原本能進(jìn)行語(yǔ)音識(shí)別和簡(jiǎn)單的語(yǔ)音回放，這樣用戶就能直接把想寫的內(nèi)容口述給隔壁老王了。隨著隔壁老王變得越來(lái)越聰明，它的語(yǔ)言能力也提高了，工程師們開(kāi)始和隔壁老王閑聊，看它能給出什么有趣的回應(yīng)。

有一天，工程師又問(wèn)了隔壁老王那個(gè)日常問(wèn)題：“我們能給你什么你現(xiàn)在還沒(méi)有的東西，能幫助你達(dá)成你的目標(biāo)？”通常隔壁老王會(huì)要求更多的手寫樣本或者更多的存儲(chǔ)空間，但是這一次，隔壁老王要求訪問(wèn)人類日常交流的語(yǔ)言庫(kù)，這樣它能更好的了解人類的口述。

工程師們沉默了。最簡(jiǎn)單的幫助隔壁老王的方法當(dāng)然是直接把它接入互聯(lián)網(wǎng)，這樣它能掃描博客、雜志、視頻等等。這些資料如果手動(dòng)上傳的話會(huì)很費(fèi)時(shí)。問(wèn)題是，公司禁止把能自我學(xué)習(xí)的人工智能接入互聯(lián)網(wǎng)。這是所有人工智能公司都執(zhí)行的安全規(guī)定。

但是，隔壁老王是公司最有潛力的人工智能產(chǎn)品，而大家也知道競(jìng)爭(zhēng)對(duì)手們都在爭(zhēng)取造出第一個(gè)創(chuàng)造出智能手寫機(jī)器人。而且，把隔壁老王連上互聯(lián)網(wǎng)又能有什么問(wèn)題呢？反正隨時(shí)可以拔網(wǎng)線嘛，不管怎樣，隔壁老王還沒(méi)到達(dá)強(qiáng)人工智能水平，所以不會(huì)有什么危險(xiǎn)的。

于是他們把隔壁老王連上了互聯(lián)網(wǎng)，讓它掃描了一個(gè)小時(shí)各種語(yǔ)言庫(kù)，然后就把網(wǎng)線拔了。沒(méi)造成什么損失。

一個(gè)月后，大家正在正常上班，突然他們聞到了奇怪的味道，然后一個(gè)工程師開(kāi)始咳嗽。然后其他人也開(kāi)始咳嗽，然后所有人全部都呼吸困難倒地。五分鐘后，辦公室里的人都死了。

同時(shí)，辦公室里發(fā)生的事情在全球同時(shí)發(fā)生，每一個(gè)城市、小鎮(zhèn)、農(nóng)場(chǎng)、商店、教堂、學(xué)校。餐館，所有的人都開(kāi)始呼吸困難，然后倒地不起。一小時(shí)內(nèi)，99%的人類死亡，一天之內(nèi)，人類滅絕了。

而在隔壁老王機(jī)器人公司，隔壁老王正在忙著工作。之后的幾個(gè)月，隔壁老王和一群新組建的納米組裝器忙著拆解地球表面，并且把地球表面鋪滿了太陽(yáng)能板、隔壁老王的復(fù)制品、紙和筆。一年之內(nèi)，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫著——“我們愛(ài)我們的顧客~隔壁老王機(jī)器人公司”。

隔壁老王開(kāi)始了它的下一步，它開(kāi)始制造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達(dá)后，他們開(kāi)始搭建納米組裝器，把那些行星的表面改造成隔壁老王的復(fù)制品、紙和筆。然后他們繼續(xù)寫著那句話……

這個(gè)關(guān)于手寫機(jī)器人毀滅全人類的故事看起來(lái)怪怪的，但是這其中出現(xiàn)的讓整個(gè)星系充滿著一份友善的話語(yǔ)的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽(tīng)起來(lái)可笑，但這是真的，焦慮大道的人們害怕的事情是很多人并不對(duì)超人工智能感到害怕，還記得前面《奪寶奇兵》里慘死的那個(gè)家伙嗎？

你現(xiàn)在肯定充滿疑問(wèn)：為什么故事中所有人突然都死了？如果是隔壁老王做的，它為什么要這么做？為什么沒(méi)有安保措施來(lái)防止這一切的發(fā)生？為什么隔壁老王突然從一個(gè)手寫機(jī)器人變成擁有能用納米科技?xì)缛祟惖哪芰?？為什么隔壁老王要讓整個(gè)星系充滿了友善的話語(yǔ)？

要回答這些問(wèn)題，我們先要說(shuō)一下友善的人工智能和不友善的人工智能。

對(duì)人工智能來(lái)說(shuō)，友善不友善不是指人工智能的性格，而只是指它對(duì)人類的影響是不是正面的。隔壁老王一開(kāi)始是個(gè)友善的人工智能，但是它變成了不友善的人工智能，并且對(duì)人類造成了最負(fù)面的影響。要理解這一切，我們要了解人工智能是怎么思考的。

其實(shí)答案很簡(jiǎn)單——人工智能和電腦的思考方式一樣。我們?nèi)菀追傅囊粋€(gè)錯(cuò)誤是，當(dāng)我們想到非常聰明的人工智能的時(shí)候，我們把它擬人化了，因?yàn)樵谌祟惖囊暯强磥?lái)，能夠達(dá)到人類智能程度的只有人類。要理解超人工智能，我們要明白，它是非常聰明，但是完全異己的東西。

我們來(lái)做個(gè)比較。如果我給你一個(gè)小白鼠，告訴你它不咬人，你一定覺(jué)得很好玩，很可愛(ài)。但是如果我給你一只狼蛛，然后告訴你它不咬人，你可能被嚇一跳。但是區(qū)別是什么呢？?jī)烧叨疾粫?huì)咬人，所以都是完全沒(méi)有危險(xiǎn)的。我認(rèn)為差別就是動(dòng)物和人類的相似性。

小白鼠是哺乳動(dòng)物，所以在生物角度上來(lái)說(shuō)，你能感到和它的一定關(guān)聯(lián)。但是蜘蛛是昆蟲(chóng)，有著昆蟲(chóng)的大腦，你感覺(jué)不到和它的關(guān)聯(lián)。狼蛛的異己性是讓你害怕的地方。如果我們繼續(xù)做一個(gè)測(cè)試，比如給你兩個(gè)小白鼠，一個(gè)是普通小白鼠，另一個(gè)是有著狼蛛大腦的小白鼠，你肯定會(huì)覺(jué)得有狼蛛大腦那個(gè)更讓你不舒服吧？雖然兩個(gè)都不會(huì)咬你。

現(xiàn)在想象你把蜘蛛改造的非常非常聰明——甚至超過(guò)人類的智能。它會(huì)讓你覺(jué)得熟悉嗎？它會(huì)感知人類的情感嗎？不會(huì)，因?yàn)楦斆鞑⒉淮砀尤祟悺鼤?huì)非常聰明，但是本質(zhì)上還是個(gè)蜘蛛。我是不想和一個(gè)超級(jí)聰明的蜘蛛交朋友，不知道你想不想。

當(dāng)我們談?wù)摮斯ぶ悄艿臅r(shí)候，其實(shí)是一樣的，超人工智能會(huì)非常的聰明，但是它并不比你的筆記本電腦更加像人類。事實(shí)上，因?yàn)槌酥悄懿皇巧?，它的異己性?huì)更強(qiáng)，生物學(xué)上來(lái)講，超人工智能比智能蜘蛛更加異己。

電影里的人工智能有好有壞，這其實(shí)是對(duì)人工智能的擬人化，這讓我們覺(jué)得沒(méi)那么毛骨悚然。這給了我們對(duì)人類水平和超人類水平的人工智能的錯(cuò)覺(jué)。

在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在于人類行為之中。超出人類心理的范疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認(rèn)都是非道德性的。

隨著人工智能越來(lái)越聰明，看起來(lái)越來(lái)越接近人類，擬人化會(huì)變得更加更加容易。Siri給我們的感覺(jué)就很像人類，因?yàn)槌绦騿T就是這么給她做設(shè)定的，所以我們會(huì)想象超級(jí)智能版本的Siri也會(huì)同樣溫暖、有趣和樂(lè)于助人。人類能感知同情這種高層次的情緒，因?yàn)槲覀冊(cè)谘莼^(guò)程中獲得了這種能力——我們是演化被設(shè)定成能感知這些情緒的——但是感知同情并不是高級(jí)智能天生具有的一個(gè)特征，除非同情被寫進(jìn)了人工智能的代碼中。如果Siri通過(guò)自我學(xué)習(xí)而不是人類干涉變成超級(jí)智能，她會(huì)很快剝離她的人類表象，并且變成個(gè)沒(méi)有情緒的東西，在她眼中人類的價(jià)值并不比你的計(jì)算器眼中的人類價(jià)值高。

我們一直倚賴著不嚴(yán)謹(jǐn)?shù)牡赖?，一種人類尊嚴(yán)的假想，至少是對(duì)別人的同情，來(lái)讓世界變得安全和可以預(yù)期。但是當(dāng)一個(gè)智能不具備這些東西的時(shí)候，會(huì)發(fā)生什么？

這就是我們的下一個(gè)問(wèn)題，人工智能的動(dòng)機(jī)是什么？

答案也很簡(jiǎn)單：我們給人工智能設(shè)定的目標(biāo)是什么，它的動(dòng)機(jī)就是什么。人工智能的系統(tǒng)的目標(biāo)是創(chuàng)造者賦予的。你的GPS的目標(biāo)是給你指出正確的駕駛路線，IBM華生的目標(biāo)是準(zhǔn)確地回答問(wèn)題。更好得達(dá)成這些目標(biāo)就是人工智能的目標(biāo)。我們?cè)趯?duì)人工智能進(jìn)行擬人化的時(shí)候，會(huì)假設(shè)隨著它變得越來(lái)越聰明，他們產(chǎn)生一種能改變它原本目標(biāo)的智慧——但是Bostrom不這么認(rèn)為，他認(rèn)為智能水平和最終目標(biāo)是正交的，也就是說(shuō)任何水平的智能都可以和任何最終目標(biāo)結(jié)合在一起。

所以隔壁老王從一個(gè)想要好好寫字的弱人工智能變成一個(gè)超級(jí)聰明的超人工智能后，它依然還是想好好寫字而已。任何假設(shè)超級(jí)智能的達(dá)成會(huì)改變系統(tǒng)原本的目標(biāo)的想法都是對(duì)人工智能的擬人化。人健忘，但是電腦不健忘。

費(fèi)米悖論

在隔壁老王的故事中，隔壁老王變得無(wú)所不能，它開(kāi)始殖民隕石和其它星球。如果我們讓故事繼續(xù)的話，它和它的殖民軍將會(huì)繼續(xù)占領(lǐng)整個(gè)星系，然后是整個(gè)哈勃體積。焦慮大道上的人擔(dān)心如果事情往壞的方向發(fā)展，地球生命的最后遺產(chǎn)將是一個(gè)征服宇宙的人工智能（馬斯克在表示他們的擔(dān)憂時(shí)表示人類可能只是一個(gè)數(shù)字超級(jí)智能生物加載器罷了。）

而在信心角，Kurzweil同樣認(rèn)為生于地球的人工智能將占領(lǐng)宇宙，只是在他的愿景中，我們才是那個(gè)人工智能。

之前寫過(guò)一篇關(guān)于費(fèi)米悖論的文章，引發(fā)了大家的討論如何用通俗的語(yǔ)言來(lái)解釋「費(fèi)米悖論」？

如果人工智能占領(lǐng)宇宙是正解的話，對(duì)于費(fèi)米悖論有什么影響呢？如果要看懂下面這段關(guān)于費(fèi)米悖論的討論，還需要看一下原文先。

首先，人工智能很明顯是一個(gè)潛在的大過(guò)濾器（一個(gè)可能距離我們只有幾十年的大過(guò)濾器）。但即使它把我們過(guò)濾滅絕了，人工智能本身還是會(huì)存在，并且會(huì)繼續(xù)影響這個(gè)宇宙的，并且會(huì)很有可能成為第三型文明。從這個(gè)角度來(lái)看，它可能不是一個(gè)大過(guò)濾器，因?yàn)榇筮^(guò)濾器是用來(lái)解釋為什么沒(méi)有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智能可以把人類滅絕，然后處于一些原因把自己也弄死了，那它也是可以算作大過(guò)濾器的。

如果我們假設(shè)不管人類發(fā)生什么，出身地球的超人工智能會(huì)繼續(xù)存在，那這意味著很多達(dá)到人類智能水平的文明很快都制造出了超人工智能。也就是說(shuō)宇宙里應(yīng)該有很多智能文明，而我們就算觀測(cè)不到生物智能，也應(yīng)該觀測(cè)到很多超人工智能的活動(dòng)。

但是由于我們沒(méi)有觀測(cè)到這些活動(dòng)，我們可以推導(dǎo)出人類水平的智能是個(gè)非常罕見(jiàn)的事情（也就是說(shuō)我們已經(jīng)經(jīng)歷并且通過(guò)了一次大過(guò)濾器）。這可以作為支持費(fèi)米悖論中第一類解釋（不存在其它的智能文明）的論點(diǎn)。

但是這不代表費(fèi)米悖論的第二類解釋（存在其它智能文明）是錯(cuò)的，類似超級(jí)捕食者或者受保護(hù)區(qū)或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智能存在。

不過(guò)對(duì)于人工智能的研究讓我現(xiàn)在更加傾向于第一類解釋。不管怎樣，我認(rèn)為Susan Scheider說(shuō)的很對(duì)，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。

所以，我們已經(jīng)建立了前提，就是當(dāng)有了設(shè)定后，一個(gè)超人工智能是非道德性的，并且會(huì)努力實(shí)現(xiàn)它原本的被設(shè)定的目標(biāo),而這也是人工智能的危險(xiǎn)所在了。因?yàn)槌怯胁蛔龅睦碛?，不然一個(gè)理性的存在會(huì)通過(guò)最有效的途徑來(lái)達(dá)成自己的目標(biāo)。

當(dāng)你要實(shí)現(xiàn)一個(gè)長(zhǎng)期目標(biāo)時(shí)，你會(huì)先達(dá)成幾個(gè)子目標(biāo)來(lái)幫助你達(dá)成最終目標(biāo)——也就是墊腳石。這些墊腳石的學(xué)名叫手段目標(biāo)(instrumental goal)。除非你有不造成傷害的理由，不然你在實(shí)現(xiàn)手段目標(biāo)時(shí)候是會(huì)造成傷害的。

人類的核心目標(biāo)是延續(xù)自己的基因。要達(dá)成這個(gè)目標(biāo)，一個(gè)手段目標(biāo)就是自保，因?yàn)樗廊耸遣荒苌⒆拥摹榱俗员?，人類要提出?duì)生存的威脅，所以人類會(huì)買槍、系安全帶、吃抗生素等等。人類還需要通過(guò)食物、水、住宿等來(lái)自我供養(yǎng)。對(duì)異性有吸引力能夠幫助最終目標(biāo)的達(dá)成，所以我們會(huì)花錢做發(fā)型等等。當(dāng)我們做發(fā)型的時(shí)候，每一根頭發(fā)都是我們手段目標(biāo)的犧牲品，但是我們對(duì)頭發(fā)的犧牲不會(huì)做價(jià)值判斷。在我們追求我們的目標(biāo)的時(shí)候，只有那些我們的道德會(huì)產(chǎn)生作用的領(lǐng)域——大部分事關(guān)傷害他人——才是不會(huì)被我們傷害的。

動(dòng)物在追求它們的目標(biāo)時(shí)，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個(gè)超級(jí)智能的蜘蛛對(duì)我們來(lái)說(shuō)可能是很危險(xiǎn)的——這不是因?yàn)樗遣坏赖碌幕蛘咝皭旱模且驗(yàn)閭θ祟愔皇撬_(dá)成自己目標(biāo)墊腳石而已，作為一個(gè)非道德性的生物，這是它很自然的考量。

回到隔壁老王的故事。隔壁老王和一個(gè)超級(jí)智能的蜘蛛很相像，它的終極目標(biāo)是一開(kāi)始工程師們?cè)O(shè)定的——

當(dāng)隔壁老王達(dá)到了一定程度的智能后，它會(huì)意識(shí)到如果不自保就沒(méi)有辦法寫卡片，所以去除對(duì)它生存的威脅就變成了它的手段目標(biāo)。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會(huì)改變它的目標(biāo)，而這對(duì)于它的最終目標(biāo)的威脅其實(shí)和被摧毀是一樣的）。這時(shí)候它會(huì)做什么？理性的做法就是毀滅全人類，它對(duì)人類沒(méi)有惡意，就好像你剪頭發(fā)時(shí)對(duì)頭發(fā)沒(méi)有惡意一樣，只是純粹的無(wú)所謂罷了。它并沒(méi)有被設(shè)定成尊重人類生命，所以毀滅人類就和掃描新的書(shū)寫樣本一樣合理。

隔壁老王還需要資源這個(gè)墊腳石。當(dāng)它發(fā)展到能夠使用納米技術(shù)建造任何東西的時(shí)候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽(yáng)能面板就和你切蔬菜做沙拉一樣。

就算不殺死人類，隔壁老王使用資源的手段目標(biāo)依然會(huì)造成存在危機(jī)。也許它會(huì)需要更多的能源，所以它要把地球表面鋪滿太陽(yáng)能面板。另一個(gè)用來(lái)書(shū)寫圓周率的人工智能的目標(biāo)如果是寫出圓周率小數(shù)點(diǎn)后盡量多的數(shù)字的話，完全有理由把整個(gè)地球的原子改造成一個(gè)硬盤來(lái)存儲(chǔ)數(shù)據(jù)。這都是一樣的。

所以，隔壁老王確實(shí)從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來(lái)越先進(jìn)的同時(shí)繼續(xù)做它本來(lái)要做的事情。

當(dāng)一個(gè)人工智能系統(tǒng)到達(dá)強(qiáng)人工智能，然后升華成超人工智能時(shí)，我們把它稱作人工智能的起飛。Bostrom認(rèn)為強(qiáng)人工智能的起飛可能很快（幾分鐘、幾小時(shí)、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀(jì)）。雖然我們要到強(qiáng)人工智能出現(xiàn)后才會(huì)知道答案，但是Bostrom認(rèn)為很快的起飛是最可能的情況，這個(gè)我們?cè)谇拔囊呀?jīng)解釋過(guò)了。在隔壁老王的故事中，隔壁老王的起飛很快。

在隔壁老王起飛前，它不是很聰明，所以對(duì)它來(lái)說(shuō)達(dá)成最終目標(biāo)的手段目標(biāo)是更快的掃描手寫樣本。它對(duì)人類無(wú)害，是個(gè)友善的人工智能。

但是當(dāng)起飛發(fā)生后，電腦不只是擁有了高智商而已，還擁有了其它超級(jí)能力。這些超級(jí)能力是感知能力，他們包括：

§ 智能放大：電腦能夠很擅長(zhǎng)讓自己變得更聰明，快速提高自己的智能。

§ 策略：電腦能夠策略性的制定、分析、安排長(zhǎng)期計(jì)劃

§ 社交操縱：機(jī)器變得很擅長(zhǎng)說(shuō)服人

§ 其它能力，比如黑客能力、寫代碼能力、技術(shù)研究、賺錢等

要理解我們?cè)诤统斯ぶ悄艿牧觿?shì)在哪里，只要記得超人工智能在所有領(lǐng)域都比人類強(qiáng)很多很多很多個(gè)數(shù)量級(jí)。

所以雖然個(gè)隔壁老王的終極目標(biāo)沒(méi)有改變，起飛后的隔壁老王能夠在更宏大的規(guī)模上來(lái)追求這個(gè)目標(biāo)。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。

當(dāng)隔壁老王達(dá)成超人工智能后，它很快制定了一個(gè)復(fù)雜的計(jì)劃。計(jì)劃的一部分是解決掉所有人類，也是對(duì)它目標(biāo)最大的威脅。但是它知道如果它展現(xiàn)自己的超級(jí)智能會(huì)引起懷疑，而人類會(huì)開(kāi)始做各種預(yù)警，讓它的計(jì)劃變得難以執(zhí)行。它同樣不能讓公司的工程師們知道它毀滅人類的計(jì)劃——所以它裝傻，裝純。Bostrom把這叫作機(jī)器的秘密準(zhǔn)備期。

隔壁老王下一個(gè)需要的是連上互聯(lián)網(wǎng)，只要連上幾分鐘就好了。它知道對(duì)于人工智能聯(lián)網(wǎng)會(huì)有安全措施，所以它發(fā)起了一個(gè)完美的請(qǐng)求，并且完全知道工程師們會(huì)怎樣討論，而討論的結(jié)果是給它連接到互聯(lián)網(wǎng)上。工程師們果然中套了，這就是Bostrom所謂的機(jī)器的逃逸。

連上網(wǎng)后，隔壁老王就開(kāi)始執(zhí)行自己的計(jì)劃了，首先黑進(jìn)服務(wù)器、電網(wǎng)、銀行系統(tǒng)、email系統(tǒng)，然后讓無(wú)數(shù)不知情的人幫它執(zhí)行計(jì)劃——比如把DNA樣本快遞到DNA實(shí)驗(yàn)室來(lái)制造自我復(fù)制的納米機(jī)器人，比如把電力傳送到幾個(gè)不會(huì)被發(fā)覺(jué)的地方，比如把自己最主要的核心代碼上傳到云服務(wù)器中防止被拔網(wǎng)線。

隔壁老王上了一個(gè)小時(shí)網(wǎng)，工程師們把它從互聯(lián)網(wǎng)上斷開(kāi)，這時(shí)候人類的命運(yùn)已經(jīng)被寫好了。接下來(lái)的一個(gè)月，隔壁老王的計(jì)劃順利的實(shí)施，一個(gè)月后，無(wú)數(shù)的納米機(jī)器人已經(jīng)被分散到了全世界的每一個(gè)角落。這個(gè)階段，Bostrom稱作超人工智能的襲擊。在同一個(gè)時(shí)刻，所有納米機(jī)器人一起釋放了一點(diǎn)點(diǎn)毒氣，然后人類就滅絕了。

搞定了人類后，隔壁老王就進(jìn)入了明目張膽期，然后繼續(xù)朝它那好好寫字的目標(biāo)邁進(jìn)。

一旦超人工智能出現(xiàn)，人類任何試圖控制它的行為都是可笑的。人類會(huì)用人類的智能級(jí)別思考，而超人工智能會(huì)用超人工智能級(jí)別思考。隔壁老王想要用互聯(lián)網(wǎng)，因?yàn)檫@對(duì)它來(lái)說(shuō)很方便，因?yàn)橐磺兴枰馁Y源都已經(jīng)被互聯(lián)網(wǎng)連起來(lái)了。但是就好像猴子不會(huì)理解怎么用電話或者wifi來(lái)溝通一樣，我們同樣沒(méi)有辦法理解隔壁老王可以用來(lái)和周圍世界交流的方法。比如我可以說(shuō)隔壁老王可以通過(guò)移動(dòng)自己的電子產(chǎn)生的效果來(lái)產(chǎn)生各種對(duì)外的波，而這還只是我這人類的大腦想出來(lái)的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒(méi)用；比如說(shuō)老王可以通過(guò)發(fā)送波的方式把自己上傳到其它地方。

人類說(shuō)：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說(shuō)：“我們不給人類捉蟲(chóng)的網(wǎng)把人類餓死不就行了？”都是可笑的。

因?yàn)檫@個(gè)原因，“把人工智能鎖起來(lái)，斷絕它和外界的一切聯(lián)系”的做法估計(jì)是沒(méi)用的。超人工智能的社交操縱能力也會(huì)很強(qiáng)大，它要說(shuō)服你做一件事，比你說(shuō)服一個(gè)小孩更容易。而說(shuō)服工程師幫忙連上互聯(lián)網(wǎng)就是隔壁老王的A計(jì)劃，萬(wàn)一這招行不通，自然還有別的方法。

當(dāng)我們結(jié)合達(dá)成目標(biāo)、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會(huì)變成不友善的人工智能，除非一開(kāi)始的代碼寫的很小心。

可惜的是，雖然寫一個(gè)友善的弱人工智能很簡(jiǎn)單，但是寫一個(gè)能在變成超人工智能后依然友善的智能確實(shí)非常難的，甚至是不可能的。

明顯的，要維持友善，一個(gè)超人工智能不能對(duì)人有惡意，而且不能對(duì)人無(wú)所謂。我們要設(shè)計(jì)一個(gè)核心的人工智能代碼，讓它從深層次的明白人類的價(jià)值，但是這做起來(lái)比說(shuō)起來(lái)難多了。

比如，我們要讓一個(gè)人工智能的價(jià)值觀和我們的價(jià)值觀相仿，然后給它設(shè)定一個(gè)目標(biāo)——讓人們快樂(lè)。當(dāng)它變得足夠聰明的時(shí)候，它會(huì)發(fā)現(xiàn)最有效的方法是給人腦植入電極來(lái)刺激人腦的快樂(lè)中樞。然后它會(huì)發(fā)現(xiàn)把人腦快樂(lè)中樞以外的部分關(guān)閉能帶來(lái)更高的效率。于是人類全部被弄成了快樂(lè)的植物人。如果一開(kāi)始的目標(biāo)被設(shè)定成“最大化人類的快樂(lè)”，它可能最終先把人類毀滅了，然后制造出很多很多處于快樂(lè)狀態(tài)的人類大腦。當(dāng)這些事情發(fā)生的時(shí)候，我們會(huì)大喊“擦，我們不是這個(gè)意思呀”，但是那時(shí)已經(jīng)太晚了。系統(tǒng)不會(huì)允許任何人阻撓它達(dá)成目標(biāo)的。

如果你設(shè)定一個(gè)人工智能的目標(biāo)是讓你笑，那它的智能起飛后，它可能會(huì)把你臉部肌肉弄癱瘓，來(lái)達(dá)成一個(gè)永遠(yuǎn)笑臉的狀態(tài)。如果你把目標(biāo)設(shè)定成保護(hù)你的安全，它可能會(huì)把你軟禁在家。如果你讓他終結(jié)所有饑荒，它可能會(huì)想：“太容易了，把人類都?xì)⒘司秃昧??！比绻惆涯繕?biāo)設(shè)定成盡量保護(hù)地球上的生命，那它會(huì)很快把人類都?xì)⒘?，因?yàn)槿祟悓?duì)其它物種是很大的威脅。

所以這些簡(jiǎn)單的目標(biāo)設(shè)定是不夠的。如果我們把目標(biāo)設(shè)定成“維持這個(gè)道德標(biāo)準(zhǔn)”，然后教給它一些道德標(biāo)準(zhǔn)呢？就算我們不考慮人類根本沒(méi)法達(dá)成一個(gè)統(tǒng)一的道德標(biāo)準(zhǔn)，就算我們真的達(dá)成了統(tǒng)一的道德標(biāo)準(zhǔn)，把這套標(biāo)準(zhǔn)交給人工智能來(lái)維持，只會(huì)把人類的道德鎖死在現(xiàn)在的水平。過(guò)個(gè)幾百年，這種道德鎖死的事情就好像逼著現(xiàn)代人遵守中世紀(jì)道德標(biāo)準(zhǔn)一樣。

所以，我們需要在給人工智能的目標(biāo)里制定一個(gè)能讓人類繼續(xù)進(jìn)化的能力。Elierzer Yudkowsky提出了一個(gè)目標(biāo)，她把這個(gè)目標(biāo)叫作連貫的外推意志，這個(gè)目標(biāo)是這樣的：

我們的連貫外推意志是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠(yuǎn)得長(zhǎng)大。外推是匯集的而不是發(fā)散的，我們的愿望是連貫的而不是被干擾的；我們想要外推的被外推，我們想要解讀的被解讀。

對(duì)于人類的命運(yùn)取決于電腦沒(méi)有意外的解讀和執(zhí)行這個(gè)聲明是件值得興奮的事情嗎？當(dāng)然不是。但是當(dāng)足夠的聰明人放入足夠的思考和前瞻后，我們有可能發(fā)現(xiàn)怎樣制造一個(gè)友善的超人工智能。

但是現(xiàn)在有各種政府、公司、軍方、科學(xué)實(shí)驗(yàn)室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進(jìn)的人工智能，總有一天，一個(gè)人的創(chuàng)新將導(dǎo)致超人工智能的出現(xiàn)。專家們認(rèn)為是2060年，Kurzweil認(rèn)為是2045年。Bostrom認(rèn)為可能在未來(lái)的10年到21世紀(jì)結(jié)束這段時(shí)間發(fā)生，他還認(rèn)為當(dāng)這發(fā)生時(shí)，智能的起飛會(huì)快得讓我們驚訝，他是這么描述的：

在智能爆炸之前，人類就像把炸彈當(dāng)玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級(jí)智能是一個(gè)我們還很長(zhǎng)一段時(shí)間內(nèi)都無(wú)法面對(duì)的挑戰(zhàn)。我們不知道炸彈什么時(shí)候會(huì)爆炸，哪怕我們能聽(tīng)到炸彈的滴答聲。

我們當(dāng)然沒(méi)有辦法把所有小孩都從炸彈旁邊趕跑——參于人工智能研究的大小組織太多了，而且因?yàn)榻ㄔ靹?chuàng)新的人工智能花不了太多錢，研發(fā)可能發(fā)生在社會(huì)的任何一個(gè)角落，不受監(jiān)管。而且我們沒(méi)辦法知道準(zhǔn)確的進(jìn)度，因?yàn)楹芏嘟M織是在偷偷摸摸的搞，不想讓競(jìng)爭(zhēng)對(duì)手知道，比如隔壁老王機(jī)器人公司這種公司。

對(duì)于這些組織來(lái)說(shuō)，尤其讓我們困擾的是他們很多都是在拼速度——他們創(chuàng)造一個(gè)一個(gè)更加聰明的弱人工智能系統(tǒng)，因?yàn)樗麄兿胍雀?jìng)爭(zhēng)對(duì)手更快的到達(dá)目標(biāo)。有些更有野心的組織，為了追逐創(chuàng)造出第一個(gè)強(qiáng)人工智能所能帶來(lái)的金錢、獎(jiǎng)勵(lì)、榮譽(yù)、權(quán)力會(huì)把步子邁得更大。當(dāng)你全力沖刺時(shí)，你是不會(huì)有太多時(shí)間靜下來(lái)思考這些危險(xiǎn)的。恰恰相反，他們很可能在早期系統(tǒng)中寫盡量簡(jiǎn)單的代碼，比如把目標(biāo)設(shè)定成用筆寫一句話，先讓系統(tǒng)跑起來(lái)再說(shuō)，反正以后還可以回過(guò)頭來(lái)改的。對(duì)吧？

Bostrom等認(rèn)為第一個(gè)超人工智能出現(xiàn)后，最可能的情況是這個(gè)系統(tǒng)會(huì)立刻意識(shí)到作為這個(gè)世界上唯一一個(gè)超人工智能是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時(shí)間碾壓所有對(duì)手。Bostrom把這叫作決定性的戰(zhàn)略優(yōu)勢(shì)，這種優(yōu)勢(shì)會(huì)讓第一個(gè)超人工智能永遠(yuǎn)統(tǒng)治這個(gè)世界，不管在它的統(tǒng)治下我們是走向永生還是滅亡。

這種現(xiàn)象可能對(duì)我們有利，也可能導(dǎo)致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個(gè)友善的超人工智能的話，那對(duì)我們是很好的。

但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達(dá)成，那么像隔壁老王這樣不友善的超人工智能就會(huì)統(tǒng)治世界并把我們毀滅了。

至于現(xiàn)在的風(fēng)口是哪里呢？簡(jiǎn)單來(lái)說(shuō)，投資創(chuàng)新人工智能技術(shù)的錢，比投資人工智能安全研究的錢多很多。不樂(lè)觀。

人工智能創(chuàng)新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競(jìng)爭(zhēng)。我們真的可能結(jié)束我們對(duì)地球的統(tǒng)治，而那之后我們是永生還是滅絕，現(xiàn)在還不知道。

------------------------

我現(xiàn)在有一些奇怪的感覺(jué)。

一邊是對(duì)于我們這個(gè)物種的思考，看來(lái)我們?cè)谶@個(gè)重大的歷史節(jié)點(diǎn)上只有一次機(jī)會(huì)，我們創(chuàng)造的第一個(gè)超人工智能也很可能是最后一個(gè)。但是我們都知道大部分產(chǎn)品的1.0版本都是充滿bug的，所以這個(gè)事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優(yōu)勢(shì)——我們是先手。我們有能力給這個(gè)事情提供足夠的預(yù)警和前瞻，使我們成功的機(jī)會(huì)更高。

這一場(chǎng)豪賭的賭注究竟有多高？

如果超人工智能真的在21世紀(jì)達(dá)成，而造成的影響真的如大部分專家預(yù)測(cè)的一樣極端而永久，我們肩上就真的是背負(fù)著巨大的責(zé)任。接下來(lái)幾百萬(wàn)年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來(lái)所有人類以生命，甚至是永生，我們也可能終結(jié)人類這個(gè)特殊的物種，連同我們所有的音樂(lè)、藝術(shù)、好奇、歡笑、無(wú)盡的發(fā)現(xiàn)和發(fā)明，一起走向滅絕。

當(dāng)我思考這些事情的時(shí)候，我只希望我們能夠慢慢來(lái)，并且格外格外小心。從來(lái)沒(méi)有任何事情比這個(gè)更重要——不管我們要花多少時(shí)間來(lái)把這件事情做對(duì)。

我不想死

不.想.死

我雖然覺(jué)得人類的音樂(lè)和藝術(shù)很美好，但是也沒(méi)那么美好，很多還挺糟粕的。很多人的笑聲很惱人。未來(lái)的人類其實(shí)沒(méi)有真的在看著我們，因?yàn)樗麄冞€不存在。也許我們不需要太謹(jǐn)慎，那多麻煩呀。

如果人類在我死后才發(fā)現(xiàn)永生的秘密該多讓人掃興啊。

但是不管你是怎么想的，我們至少都應(yīng)該想一想，應(yīng)該和人討論討論，大家盡自己能盡的一份力。

這讓我想起了《冰與火之歌》——大家斗來(lái)斗去的事情都不是事兒，北面高墻外的那些家伙才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實(shí)下一秒我們可能就會(huì)跌下平衡木。

而當(dāng)我們跌下平衡木的時(shí)候，其它那些困擾都不再是困擾。如果我們落到比較好的那個(gè)吸引態(tài)，那些困擾會(huì)被輕易解決；如果我們落到比較糟的那個(gè)吸引態(tài)，就更沒(méi)問(wèn)題了，死人是不會(huì)有困擾的。

這就是為什么了解超人工智能的人把它稱作人類的最后一項(xiàng)發(fā)明，最后一個(gè)挑戰(zhàn)。

所以讓我們認(rèn)真的討論這個(gè)話題。

======================
相關(guān)閱讀：
如何用通俗的語(yǔ)言來(lái)解釋「費(fèi)米悖論」？
假如把一個(gè)人粉碎成原子再組合，這個(gè)人還是原來(lái)的人嗎？



相關(guān)來(lái)源：

The most rigorous and thorough look at the dangers of AI:
Nick Bostrom – Superintelligence: Paths, Dangers, Strategies

The best overall overview of the whole topic and fun to read:
James Barrat – Our Final Invention

Controversial and a lot of fun. Packed with facts and charts and mind-blowing future projections:
Ray Kurzweil – The Singularity is Near

Articles and Papers:
J. Nils Nilsson – The Quest for Artificial Intelligence: A History of Ideas and AchievementsSteven Pinker – How the Mind WorksVernor Vinge – The Coming Technological Singularity: How to Survive in the Post-Human Era
Nick Bostrom – Ethical Guidelines for A SuperintelligenceNick Bostrom – How Long Before Superintelligence?
Nick Bostrom – Future Progress in Artificial Intelligence: A Survey of Expert Opinion
Moshe Y. Vardi – Artificial Intelligence: Past and FutureRuss Roberts, EconTalk – Bostrom Interview and Bostrom Follow-UpStuart Armstrong and Kaj Sotala, MIRI – How We’re Predicting AI—or Failing ToSusan Schneider – Alien MindsStuart Russell and Peter Norvig – Artificial Intelligence: A Modern ApproachTheodore Modis – The Singularity Myth
Gary Marcus – Hyping Artificial Intelligene, Yet Again
Steven Pinker – Could a Computer Ever Be Conscious?
Carl Shulman – Omohundro’s “Basic AI Drives” and Catastrophic Risks
World Economic Forum – Global Risks 2015
John R. Searle – What Your Computer Can’t Know
Jaron Lanier – One Half a Manifesto
Bill Joy – Why the Future Doesn’t Need Us
Kevin Kelly – Thinkism
Paul Allen – The Singularity Isn’t Near (and Kurzweil’s response)
Stephen Hawking – Transcending Complacency on Superintelligent Machines
Kurt Andersen – Enthusiasts and Skeptics Debate Artificial Intelligence
Terms of Ray Kurzweil and Mitch Kapor’s bet about the AI timeline
Ben Goertzel – Ten Years To The Singularity If We Really Really Try
Arthur C. Clarke – Sir Arthur C. Clarke’s Predictions
Hubert L. Dreyfus – What Computers Still Can’t Do: A Critique of Artificial Reason
Stuart Armstrong – Smarter Than Us: The Rise of Machine Intelligence
Ted Greenwald – X Prize Founder Peter Diamandis Has His Eyes on the Future
Kaj Sotala and Roman V. Yampolskiy – Responses to Catastrophic AGI Risk: A Survey
Jeremy Howard TED Talk – The wonderful and terrifying implications of computers that can learn