人工智能學家

而在今天，Jeff Dean 代表整個團隊撰文回顧了谷歌大腦的 2016 年，并發(fā)表于 Google Research Blog 上，這個為世界帶來科技驚喜的團隊究竟如何看待自己的 2016 年吧。

谷歌大腦團隊的宏愿一如既往：團隊致力于通過多領域的純研究及應用性研究，創(chuàng)造更多的智能軟件及智能系統(tǒng)，以此提升人們的生活水平。

“雖然這一藍圖是我們仰望星空的長期愿景，但我們也需要腳踏實地，回顧一下我們過去一年完成的小目標，并與你們一同分享那些會為 2017 年新成就奠基的點點滴滴?！?/p>

一、科研刊發(fā)，碩果累累

在國際頂級的期刊及學術會議（如 ICML、NIPS 及 ICLR）上提交論文是科研水平的質量保證，谷歌大腦團隊同樣寄望于此。過去一年間，團隊共有 27 篇論文實現(xiàn)了這個小目標，領域涉獵廣泛

程序合成：《Neural Programmer: Inducing Latent Programs with Gradient Descent》；

鏈接：

http:///journals/jama/article-abstract/2588763

神經(jīng)網(wǎng)絡間的知識遷移：《Net2Net: Accelerating Learning via Knowledge Transfer》；

鏈接：

https:///abs/1511.05641

機器學習的分發(fā)式訓練：《Revisiting Distributed Synchronous SGD》；

鏈接：

https:///pdf?id=D1VDZ5kMAu5jEJ1zfEWL

語言的生成式模型：《Generating Sentences from a Continuous Space》；

鏈接：

https:///forum?id=D1VVBv7BKS5jEJ1zfxJg

機器人的無監(jiān)督學習：《Unsupervised Learning for Physical Interaction through Video Prediction》；

鏈接：

http://papers./paper/6161-unsupervised-learning-for-physical-interaction-through-video-prediction

定理的自動證明：《DeepMath - Deep Sequence Models for Premise Selection》；

鏈接：

http://papers./paper/6280-deepmath-deep-sequence-models-for-premise-selection

神經(jīng)網(wǎng)絡理論理解：《Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity》；

鏈接：

http://papers./paper/6427-toward-deeper-understanding-of-neural-networks-the-power-of-initialization-and-a-dual-view-on-expressivity

改進強化學習的算法：《Continuous Deep Q-Learning with Model-based Acceleration》

鏈接：

http:///proceedings/papers/v48/gu16.html；

谷歌大腦還在許多其它優(yōu)秀期刊及學術會議上提交了論文，包括：

自然語言處理（ACL 及 CoNNL）；

語音識別（ICASSP）；

視覺領域（CVPR）；

機器人（ISER）；

計算機系統(tǒng)（OSDI）等。

團隊目前已經(jīng)向機器學習研究的頂尖學術會議 ICLR 2017 提交了 34 篇論文。AI 科技評論附上了提交論文的清單，如果感興趣的用戶可以點擊查看。

鏈接：https://research.google.com/pubs/BrainTeam.html

二、自然語言理解

谷歌大腦研究的重點方向之一在于如何讓計算機更好地理解人類語言。

2014 年年底，三位谷歌大腦團隊的成員發(fā)布了一篇名為《利用神經(jīng)網(wǎng)絡實現(xiàn)序列到序列的學習》的論文，提出了此方法可應用于機器翻譯。

2015 年，團隊證明了此方法同樣能夠應用于生成圖像標題、分析句子成分及解決計算化的幾何問題當中。

2016 年，谷歌大腦團隊與谷歌翻譯團隊進行密切合作，將谷歌翻譯算法以一種完全端到端的學習系統(tǒng)所取代。該系統(tǒng)縮小了原有系統(tǒng)與人類高質量翻譯之間的差距，而這一數(shù)字達到了 85%。

在數(shù)周后，谷歌大腦團隊又發(fā)布了「zero-shot」翻譯系統(tǒng)，即使是系統(tǒng)之前從沒學習過的樣本對，機器也能夠順利翻譯出來。目前，這一系統(tǒng)已經(jīng)順利上線谷歌翻譯，而它所處理的語言對數(shù)量也在不斷增加。

「zero-shot」鏈接：

https://research./2016/11/zero-shot-translation-with-googles.html

Jeff Dean 還特別專門提及了 AI 科技評論于本文開始時提及的文章，這篇發(fā)布于《紐約時報》，原名為《超級 AI 正在覺醒》的文章詳細描述了谷歌翻譯是如何一步步進階深度學習的。

《超級 AI 正在覺醒》鏈接：

https://www./2016/12/14/magazine/the-great-ai-awakening.html?_r=0 

三、教機器人學會學習

Jeff Dean 也回顧了谷歌大腦在機器人領域取得的成果，他表示，傳統(tǒng)機器人的控制算法是通過精心設計并進行人工編程而實現(xiàn)的，因此，如何將新的能力「傳授」給原有的機器人也成為一個挑戰(zhàn)。谷歌大腦團隊相信，機器人如果能掌握機器學習能力，那么讓它自動掌握這些新的技能也絕非難事。

在 2016 年，谷歌大腦團隊與 Google X 團隊合作實現(xiàn)了機械臂的手眼協(xié)調功能，并經(jīng)過 80 萬次的抓取實驗，讓它們在不斷的學習過程中汲取自學經(jīng)驗，雷鋒網(wǎng)此前也做過報道和覆蓋。

鏈接：https:///abs/1603.02199

“隨后，我們探索了三種機器人學習新技能的三種可能方式，包括強化學習、通過機器與物體的交互，以及人類的操作示范等。谷歌大腦團隊將在這些工作的基礎上繼續(xù)前行，以實現(xiàn)讓機器人在復雜的現(xiàn)實環(huán)境中習得新技能，并成功運用的目標?！?/p>

三種機器人學習新技能鏈接：

https://research./2016/10/how-robots-can-acquire-new-skills-from.html

值得一提的是，為了讓其它機器人研究者也能嘗試在該領域探索，谷歌大腦團隊共享了數(shù)個機器人數(shù)據(jù)庫。

鏈接：https://sites.google.com/site/brainrobotdata/home

四、醫(yī)學影像領域：提升診斷效率

機器學習有著巨大潛力，包括應用于醫(yī)學診斷領域。谷歌大腦同樣注意到了這一進步，并在今年 6 月的美國醫(yī)學學會刊物上（Journal of the American Medical Association）發(fā)布了一篇名為《深度學習算法的應用及有效性：因糖尿病引致的視網(wǎng)膜病變》的論文，詳細了目前機器學習系統(tǒng)在疾病診斷上的新成果?！溉绻麤]能篩查出早期的視網(wǎng)膜病變，將會有四億人面臨失明風險。通過這項技術，我們希望能夠幫助更多人口在眼科醫(yī)生稀缺的情況下獲得適當?shù)臋z查?！笰I 科技評論了解到，谷歌 DeepMind 目前已經(jīng)與英國國家醫(yī)療服務體系（NHS）進行了二度合作，將和 Moorfields 眼科醫(yī)院一同開發(fā)識別視覺疾病的機器學習系統(tǒng)。

論文鏈接：http:///journals/jama/article-abstract/2588763 

除此之外，谷歌大腦團隊也致力于拓展醫(yī)學影像的其它領域，并相信機器學習能夠在接下來一年內(nèi)又好又快地提升醫(yī)患的就醫(yī)體驗。

五、創(chuàng)作，從音樂到藝術

不論是印刷出版、電影或是電吉他，人們利用科技定義媒體內(nèi)容的創(chuàng)造與分享。在 2016 年，谷歌大腦成立了一個名為 Magenta 的項目，以探索藝術與機器智能的靈感火花，并利用機器學習豐富人類的創(chuàng)造力。

Magenta 項目鏈接：https://research./2016/02/exploring-intersection-of-art-and.html

先是用機器學習建立起音樂與圖像生成之間的聯(lián)系，再是文本生成與虛擬現(xiàn)實，Magenta 正在成為內(nèi)容創(chuàng)作的最佳生成模型。

谷歌大腦團隊通過舉辦研討會及展覽會的方式，對音樂創(chuàng)作及藝術風格遷移等主題進行探討。而這些探索也同樣獲得了學界的認可， demo 在年底的 NIPS 2016 上獲得了最佳獎項的首肯。

Demo 鏈接：

https://magenta./2016/12/16/nips-demo/ 

六、安全公平，AI 有責

「當我們開發(fā)出強大且完善的 AI 系統(tǒng)，并廣泛應用于這個世界之時，谷歌大腦團隊同樣也心系安全與公平。我們同樣希望擁有能幫助人類更好理解機器生產(chǎn)的工具?！?/p>

在 AI 安全領域，谷歌大腦通過與斯坦福、伯克利及 OpenAI 等機構的合作，發(fā)布了名為《AI 安全的具體問題》的白皮書，提及了人工智能領域可能設計的具體安全問題，而谷歌大腦團隊也致力于在訓練數(shù)據(jù)的隱私問題、涉及不同項目的隱私界定，以及知識遷移技術方面提出可行的保護方案。

《AI 安全的具體問題》鏈接：

https:///abs/1606.06565

而在另一篇名為《監(jiān)督學習中的機會公平性》的文章中，谷歌大腦也以 FICO 評分系統(tǒng)為例，嘗試通過調整訓練的預測因子，以避免結果出現(xiàn)不必要的歧視。

《監(jiān)督學習中的機會公平性》鏈接：

https:///abs/1610.02413

如果你對此感興趣，歡迎通過他們的可視化項目了解。

七、TensorFlow 初長成

TensorFlow 于 2015 年 11 月開源，當時作為一個希望機器學習社區(qū)都能從中受益的開源平臺而存在。一年來，TensorFlow 已經(jīng)成為了 GitHub 上最受歡迎的機器學習項目，擁有超過 570 貢獻者的上萬次提交。而得益于社區(qū)的貢獻，TensorFlow 目前僅在 GitHub 上就有多于 5000 個與 TensorFlow 相關的項目了。

谷歌大腦團隊表示，TensorFlow 目前已經(jīng)得到了許多研究團隊與大型企業(yè)的認可（如 DeepMind），此外在尋找海?；驇椭毡巨r(nóng)夫選黃瓜等特別的小項目中也取得了喜人的進展。

而谷歌為 TensorFlow 所做的還不止這些：

TensorFlow 目前已經(jīng)在性能上已經(jīng)有了大量改進，增加了分布式訓練的支持；

兼容 iOS、樹莓派和 Windows，此外還與大數(shù)據(jù)框架進行了整合；

拓展了可視化系統(tǒng) TensorBoard，能夠用于可視化計算圖表及 embedding；

開放了 Go、Rust 及 Haskell 的接口；

發(fā)布了最優(yōu)秀的圖像分類模型；

回答了 GitHub、StackOverflow 等論壇及 TensorFlow 郵件里收到的上千個問題；

TensorFlow Serving 得以簡化 TensorFlow 模型在生產(chǎn)應用的難度；

獲得了 Google Cloud Machine Learning 的托管服務。

在慶祝 TensorFlow 成立一周年之際，谷歌大腦還在 OSDI 上提交了一篇名為《TensorFlow：大范圍機器學習系統(tǒng)》的論文。

通過與編譯器團隊的合作，谷歌大腦也在致力開發(fā)用于 TensorFlow 的后端編譯器 XLA，并已經(jīng)在其中添加了一個 alpha 版本。

八、初探機器學習社區(qū)

谷歌大腦同樣也在努力教育指導人們?nèi)绾问褂脵C器學習，并開展相關研究。

2016 年 1 月，谷歌大腦團隊的一名研究負責人 Vincent Vanhoucke 在優(yōu)達學城上開設了一門免費的深度學習在線課程。此外，團隊還組織了 TensorFlow Playground，這個交互式系統(tǒng)能夠通過可視化的方式，幫助人們更好地理解簡單的神經(jīng)網(wǎng)絡學習是如何完成任務的。

在去年 6 月，首屆 Google Brain Resident 項目在 2200 名申請者中篩選出了 27 名學員，并在過去的 7 個月時間內(nèi)開展了大量原創(chuàng)研究，并完成了 21 篇論文。

8 月份，許多谷歌大腦的成員都參與了 Reddit 的 MachineLearning 小組上的 AMA 問答，為網(wǎng)友們解答了機器學習社區(qū)及對團隊的種種疑問。

在 2016 年，我們接納了 46 名實習生（大部分是博士生），他們與團隊成員一同開展了研究。

九、讓機器學習無處不在

除了上述公開活動外，谷歌大腦也在谷歌內(nèi)部開展工作，以期將機器學習專業(yè)及精神滲透到其它產(chǎn)品團隊中。谷歌大腦團隊希望公司能做為一個整體，接納并利用新生的機器學習研究成果。比如與平臺團隊緊密合作，為在 Google I/O 大會上提及的機器學習加速器 ASIC（張量處理單元 TPU）提出了個性化且高水平的目標。這種定制芯片能夠在數(shù)量級上提升機器學習的性能，并廣泛應用于谷歌產(chǎn)品中，包括 RankBrain、神經(jīng)機器翻譯系統(tǒng)，還有在 3 月份擊敗李世石的 AlphaGo。

總而言之，對于谷歌大腦團隊及谷歌上上下下所有同事與合作伙伴而言，2016 是令人為之歡欣鼓舞的一年，而團隊也同樣期待機器學習研究能在 2017 年更上一層樓。

 本文來自：AI科技評論