“讓機器會做夢，從某種程度上來說，是人工智能發(fā)展的一個關(guān)鍵技能”，Bengio在接受O'reilly的采訪時說到。在這里，“做夢”代表的是想象的能力，也是監(jiān)督學習和無監(jiān)督學習的主要區(qū)分之一，如果只能通過監(jiān)督學習的方法來學習，那就必須要通過真實經(jīng)歷，才能產(chǎn)生認知。在對真正的人工智能的探索中，無監(jiān)督學習仍然是關(guān)鍵謎題之一。我們可以在一個最不可思議的地方，即機器所做的夢里，找到一種對我們朝著這一目標的進度的測量。

　　Yoshua Bengio 是蒙特利爾大學計算機科學與運籌學系教授，也是該系的機器學習實驗室(MILA)主任，并擔任加拿大統(tǒng)計學學習算法研究主席。他的研究目標是理解那些產(chǎn)生智能的學習過程的原則。

　　要點

　　自然語言處理(NLP)自出現(xiàn)以來已走過了一段很長的路。通過向量描述和定制的深度神經(jīng)網(wǎng)絡(luò)等技術(shù)，該領(lǐng)域已經(jīng)向著真正的語言理解邁出了有意義的步伐。

　　深度學習所支持的語言模型與喬姆斯基學派的模型不符，而是源于從1980年代開始流行的聯(lián)結(jié)主義思想。

　　在神經(jīng)科學與機器學習的關(guān)系方面，二者總是互相激勵，一方的進步為另一方帶來新的啟發(fā)。

　　在對真正的人工智能的探索中，無監(jiān)督學習仍然是關(guān)鍵謎題之一。我們可以在一個最不可思議的地方——機器所做的夢里——找到一種對我們朝著這一目標的進度的測量。

　　Yoshua Bengio 是蒙特利爾大學計算機科學與運籌學系教授 該系的機器學習實驗室(MILA)主任 加拿大統(tǒng)計學學習算法研究主席

　　【O'reilly】讓我們從聊聊你的個人背景開始吧。

　　【Yoshua】我從1980年代起就研究神經(jīng)網(wǎng)絡(luò)。我于1991年在麥吉爾大學獲得了博士學位，此后我在麻省理工學院跟從Michael Jordan做博士后研究。之后，我在貝爾實驗室與Yann LeCun, Patrice Simard, Léon Bottou, Vladimir Vapnik等人一起工作。后來我又回到了蒙特利爾，并在這里度過了人生的大部分時光。

　　由于造化弄人，神經(jīng)網(wǎng)絡(luò)在1990年代遇冷，直到上一個十年才復(fù)興。不過在那段時間里，我的實驗室和其他幾個團隊仍在前進。而后在2005年或2006年前后，我們?nèi)〉昧送黄?。我們首次發(fā)現(xiàn)了能成功地訓練神經(jīng)網(wǎng)絡(luò)的方法，而此前的嘗試都未能成功。

　　從那時起，我的實驗室便逐漸成長為一個擁有五到六位教授的研究機構(gòu)，總共擁有65位研究員。在這些年間，除了促進無監(jiān)督學習領(lǐng)域的發(fā)展之外，我們的團隊還對自然語言、遞歸網(wǎng)絡(luò)等不少領(lǐng)域作出了貢獻。其中，遞歸網(wǎng)絡(luò)是一種用來處理語言和其他領(lǐng)域中的序列的神經(jīng)網(wǎng)絡(luò)。

　　同時，我也對神經(jīng)科學與深度學習之間的聯(lián)系非常感興趣。這種關(guān)系是雙向的。一方面，19世紀50年代，人工智能最開始發(fā)端時，某些研究趨勢是從人類心智研究來支撐的。不過，自從神經(jīng)網(wǎng)絡(luò)東山再起之后，情況就反轉(zhuǎn)了，我們開始指望機器學習作為一種思路，發(fā)現(xiàn)對大腦學習過程的高階理論解釋。

　　Yoshua在自然語言處理研究上的貢獻

　　【O'reilly】讓我們接下來談?wù)勛匀徽Z言。這個領(lǐng)域是如何發(fā)展的？

　　【Yoshua】我在2000年的神經(jīng)信息處理系統(tǒng)進展大會(NIPS)上發(fā)表了我的第一篇關(guān)于自然語言處理的重要文章。當時人們普遍認為，最高水平的語言處理方法也無法實現(xiàn)人工智能，直白地說，因為這些方法還太笨了。當時流行的基本技術(shù)是去數(shù)一下某個詞后面跟著另一個詞的情況出現(xiàn)過多少次，或者一個由三個詞組成的序列出現(xiàn)過多少次——并由此來預(yù)測某個詞的下一個詞或者去翻譯一個詞或詞組。

　　然而，這樣一種方法缺乏關(guān)于意義的概念，不能運用于那些高度復(fù)雜的概念，也無法被正確泛化到未曾見過的詞語?？紤]到這一點，我便用神經(jīng)網(wǎng)絡(luò)來著手處理這一問題，我相信神經(jīng)網(wǎng)絡(luò)能夠克服“維數(shù)災(zāi)難”，并提出了一組方法和論證 。從那時起，這些方法和論證便成為了對深度學習的理論分析的核心方法和論證。

　　這個所謂的“維數(shù)災(zāi)難”涉及機器學習面臨的一個基礎(chǔ)性難題。當我們試圖使用大量變量來預(yù)測某個東西的時候，這些變量的各種可能的組合方式的數(shù)量極大，而這使得問題的難度會呈指數(shù)級增加。例如，如果你考慮一個由三個詞組成的序列，其中每個詞都來自一個十萬詞的詞庫，那么一共有多少個可能的序列呢？一共有10,0000的3次方個序列。一個人一輩子也不可能把所有這些序列都數(shù)完。更糟糕的是，典型的短句子大約由十個左右的單詞構(gòu)成，而如果你考慮一個由十個詞構(gòu)成的序列，那么你將面臨的數(shù)字是10,0000的10次方，一個大得不可思議的數(shù)字。

　　值得慶幸的是，我們可以用對詞的代表(即所謂的詞向量)來替代詞，并學習這些詞向量。每個詞都被映射到一個向量，而這個向量自身是一組數(shù)字，這些數(shù)字分別對應(yīng)于從詞上自動學習到詞的特征。學習系統(tǒng)同時利用這些特征來學習如何在給定前面的詞的情況下去預(yù)測下一個詞，或者學習如何產(chǎn)生一個譯文句子。

　　可以把詞向量設(shè)想為一個(以詞為行，以特征為列的)巨大表格，其中每一個詞向量都由數(shù)百個特征構(gòu)成。機器讀取這些特征并把它們輸入到一個神經(jīng)網(wǎng)絡(luò)。這個神經(jīng)網(wǎng)絡(luò)有多個輸出，它為詞庫中的每個詞都產(chǎn)生一個輸出，而除此之外它在其他方面都類似于傳統(tǒng)網(wǎng)絡(luò)。要正確地預(yù)測句子中的下一個詞，或者要確定句子的正確譯文，該神經(jīng)網(wǎng)絡(luò)可能需要產(chǎn)生100,000個輸出。

　　這個方法很管用。剛開始時，我們在比較小的規(guī)模上測試這一方法。接下來的十年，研究者在“更大的數(shù)據(jù)集上訓練越來越大的模型”這個方向取得了巨大的進步。這一技術(shù)已經(jīng)取代了一些陳舊的自然語言處理方法，并一再戰(zhàn)勝那些最高水平的測試標準。說得更大一點，我相信我們正處于自然語言處理領(lǐng)域的巨大轉(zhuǎn)變之中，特別是在涉及語義的方面。換句話說，我們正在通向?qū)ψ匀徽Z言的理解，尤其能體現(xiàn)出這一點的是，近期對遞歸網(wǎng)絡(luò)的擴展已包含了推理的部分。

　　除了對自然語言處理的直接影響之外，該工作也涉及到人工智能領(lǐng)域的其他臨近主題，例如機器如何回答問題和進行對話。此前，DeepMind 在《自然》雜志上發(fā)表了一篇論文，其主題與關(guān)于對話的深度學習緊密相關(guān)。他們的論文描述了一種擊敗了歐洲圍棋冠軍的深度強化學習系統(tǒng)。無論以何種標準，圍棋都是一種非常難的游戲，這使得許多人預(yù)測要到幾十年后電腦才能與職業(yè)圍棋手對戰(zhàn)。換個角度看，一個像圍棋這樣的游戲很像一場人類玩家與機器之間的對話。我很期待能看到這些研究將通向何方。

　　語言理論框架的問題

　　【O'reilly】深度學習與喬姆斯基的語言理論的相符程度如何？

　　【Yoshua】深度學習指向與喬姆斯基完全相反。深度學習幾乎完全依賴通過數(shù)據(jù)進行的學習。當然，我們設(shè)計了神經(jīng)網(wǎng)絡(luò)的構(gòu)架，但在大部分時候，它都依賴于數(shù)據(jù)、大量的數(shù)據(jù)。至于喬姆斯基，則是聚焦于固有語法和對邏輯的使用，而深度學習則關(guān)注意義。我們發(fā)現(xiàn)，語法只是像蛋糕上的糖霜一樣的表層的東西。相反，真正重要的東西是我們的意圖：我們對詞的選擇決定了我們要表達什么意義，而與詞相聯(lián)系的意義是可以被學習的。這些思想都與喬姆斯基學派的觀點針鋒相對。

　　【O'reilly】是否有其他語言學學派的觀點與深度學習更吻合呢？

　　【Yoshua】1980年代的時候，一些心理學家、計算機科學家和語言學家發(fā)展出了認知心理學的聯(lián)結(jié)主義路徑。通過使用神經(jīng)網(wǎng)絡(luò)，這些研究者依靠來自神經(jīng)科學的概念為人類如何思考、如何學習的問題帶來了新的啟發(fā)。實際上，反向傳播算法和其他一些今天仍在使用的算法都可以回溯到當年的那些努力。

　　機器學習模式VS人類學習模式

　　【O'reilly】這是否意味著兒童早期語言發(fā)展或者人類心智的其他功能有可能在結(jié)構(gòu)上與反向傳播算法或其他這類算法相同？

　　【Yoshua】我們研究社區(qū)中的研究者們有時會從大自然與人類智能中尋找啟發(fā)。舉個例子，就拿課程學習(curriculum learning)這種方法來說吧。這種方法促進了深度學習，特別是在推理任務(wù)方面。相反，傳統(tǒng)的機器學習把所有的實例都裝進一個大袋子，并讓機器以隨機的順序檢測這些實例。人類可不是以這種方式來學習的。通常，在教師的指導(dǎo)下，一開始，我們學習比較容易的概念，隨后才逐步學習處理那些越來越難和復(fù)雜的概念，整個過程都建立在我們早先的進展的基礎(chǔ)之上。

　　從最優(yōu)化的角度來看，訓練一個神經(jīng)網(wǎng)絡(luò)是困難的。盡管如此，通過從小處著手并逐漸地增加難度的層級，我們可以解決一些此前被認為是太困難而無法學習的任務(wù)。

　　深度學習框架的演化過程

　　【O'reilly】你的工作包括關(guān)于深度學習構(gòu)架的相關(guān)研究。你可以談?wù)勥@些構(gòu)架是如何隨著時間演化的嗎？

　　【Yoshua】我們從1980年代到21世紀的第一個十年都在使用同一種非線性構(gòu)架，但我們不一定非要使用這種構(gòu)架。

　　過去，我們依賴雙曲正切函數(shù)，它是一種平緩遞增的曲線，對小數(shù)值和大數(shù)值的變化不敏感，但卻會對中間數(shù)值做出反應(yīng)。在我們的工作中，我們發(fā)現(xiàn)了另一種隱藏在平凡外表之下的非線性，即整流函數(shù)(rectifier)，它讓我們能夠訓練更深度的網(wǎng)絡(luò)。這一模型從人腦那里獲得了啟發(fā)，因為與雙曲正切函數(shù)相比，人腦更符合整流函數(shù)的模式。有趣的是，這種模型為什么會有效，其原因仍然有待澄清。在機器學習領(lǐng)域，理論常常產(chǎn)生于實驗之后。

　　機器學習的遠方

　　【O'reilly】未來有哪些其他的挑戰(zhàn)是你想談?wù)劦哪兀?/p>

　　【Yoshua】除了理解自然語言之外，我們也在關(guān)注推理本身。對符號、數(shù)據(jù)結(jié)構(gòu)和圖象進行處理，這曾經(jīng)是(無學習的)人工智能的經(jīng)典領(lǐng)域，但在過去幾年中，神經(jīng)網(wǎng)絡(luò)重新導(dǎo)向了這類嘗試。我們已經(jīng)看到一些模型，它們能夠處理堆棧和圖象等數(shù)據(jù)結(jié)構(gòu)，用內(nèi)存來儲存和提取對象，通過一連串的步驟進行工作。這些模型在支持對話和其他需要綜合不同證據(jù)的任務(wù)時也有一定的潛力。

　　除了推理之外，我也對無監(jiān)督學習很感興趣。在很大程度上，機器學習的進步是由對大規(guī)模數(shù)據(jù)集進行訓練所帶來的利益所驅(qū)動的，這些數(shù)據(jù)集帶有數(shù)以百萬計的標記實例，而對這些標記實例的解釋是由人來完成的。這樣的方法無法規(guī)?；涸诂F(xiàn)實中我們不可能為每一件東西做標記并一絲不茍地向電腦解釋所有的細節(jié)。而且，人類在學習大多數(shù)東西的時候也根本不是這樣學的。

　　當然，作為有思考能力的動物，我們?nèi)祟惣认蛭覀兊沫h(huán)境和人類同伴提供反饋，也依賴來自他們的反饋。但如果與一個典型的標記數(shù)據(jù)集相比較的話，這些反饋的數(shù)量是十分稀少的。簡單說來，就是一個孩子在世界中觀察他的環(huán)境，不斷努力地理解環(huán)境以及事物背后的原因。在他追求知識的過程中，他試驗并提出問題，從而持續(xù)地對他為環(huán)境所建立的內(nèi)在模型進行修正。

　　若要機器以類似的方式學習，我們需要在無監(jiān)督學習方面取得更多進步。目前，這一探索中最令人振奮的領(lǐng)域是圖像生成?？疾煲粋€機器的無監(jiān)督學習能力的一種方式是：向它展現(xiàn)許多圖像，比方說汽車的圖像，并要求它“想象”出一個新的汽車模型——人們已經(jīng)證明這種方法適用于汽車、臉龐和其他種類的圖像。不過，與計算機繪圖(computer graphics)所能達到的水平相比，這些生成的圖像的視覺質(zhì)量仍相當糟糕。

　　如果當我們要求計算機生成一幅嶄新但像樣的圖像的時候，它能產(chǎn)生一個合理的、并非復(fù)制品的輸出，這就將意味著它對這些對象的理解已經(jīng)達到了很深的水平。也就是說，在某種意義上，這臺計算機已經(jīng)發(fā)展出了一種對這些對象的深層解釋的理解。

　　會做夢的機器人

　　【O'reilly】你剛才說你會要求計算機“做夢”。在某種意義上，或許可以問，是不是像Philip K.Dick說的那樣，機器人也會夢見電子羊呢？

　　【Yoshua】是的。我們的機器已經(jīng)在做夢了，不過是以一種模糊的方式。我們通過“想象”這種工具來設(shè)想那些我們并未實際經(jīng)歷的東西，而機器人的夢仍不如人類的夢和想象那樣活潑和富于內(nèi)容。我能夠想象，開車時因為轉(zhuǎn)向錯誤而與迎面來車相撞的后果，謝天謝地我并不需要實際經(jīng)歷這些就能認識到這樣做的危險。如果只能通過監(jiān)督學習的方法來學習，那就必須真實經(jīng)歷這些場景以及這些場景的無窮無盡的置換排列。我們在無監(jiān)督學習方面的研究目標是，幫助機器在它關(guān)于世界的現(xiàn)有知識的前提下推理和預(yù)測將來可能發(fā)生什么。這代表了人工智能的一種關(guān)鍵技能。

　　正是這樣的方法在驅(qū)動著科學的前進。那就是，從給定的觀察中辨認出因果解釋的方法論路徑。換句話說，我們致力于讓計算機能像小科學家或小孩子一樣做研究。或許需要幾十年才能達到這種真正自主的無監(jiān)督學習，不過我們已經(jīng)在這條探索之路上了。