|
大數(shù)據(jù)文摘出品 堅持你所相信的，直到世界追上你的腳步。 因?yàn)閭吮?，Geoff Hinton已經(jīng)站著工作了12年，似乎巧合地迎合了現(xiàn)在“站立工作”的這股風(fēng)潮。 “我領(lǐng)先于潮流，”Hinton說。 不僅僅是這一點(diǎn)，Hinton更廣為人知的“領(lǐng)先于潮流”，是在深度學(xué)習(xí)領(lǐng)域。在所有人都不看好神經(jīng)網(wǎng)絡(luò)的年頭，是他，將這一技術(shù)帶進(jìn)了主流學(xué)術(shù)界。 Bloomberg近日為這位“深度學(xué)習(xí)教父”拍攝了一段特寫紀(jì)錄片，用短短8分鐘，講述了這位“有點(diǎn)皮”的教授關(guān)于神經(jīng)網(wǎng)絡(luò)的40年傳奇經(jīng)歷。 為什么是AI教父？ 今天，混AI圈的人鮮有人沒聽過Geoff Hinton。他是谷歌大腦研究小組的負(fù)責(zé)人，多倫多大學(xué)的榮譽(yù)教授。而奠定了他在今天人工智能圈“教父”地位的，是他在多層神經(jīng)網(wǎng)絡(luò)技術(shù)的貢獻(xiàn)。 Hinton對AI的貢獻(xiàn)有多大呢？ 學(xué)術(shù)點(diǎn)說，Hinton在1986年提出的通過反向傳播來訓(xùn)練深度網(wǎng)絡(luò)理論，標(biāo)志著深度學(xué)習(xí)發(fā)展的一大轉(zhuǎn)機(jī)，為近年來人工智能的發(fā)展奠定了基礎(chǔ)。 更實(shí)際點(diǎn)說，今天谷歌中通過語音識別進(jìn)行圖片檢索、在手機(jī)上把語音轉(zhuǎn)化為文字的技術(shù)的實(shí)現(xiàn)，大部分功勞要?dú)w于Hinton博士的研究。 他的研究，徹底改變了人工智能，乃至整個人類發(fā)展的軌跡。 從研究大腦，到嘗試制作一個 Geoff Hinton出生在英國一家“書香門第”，家人多是數(shù)學(xué)家和經(jīng)濟(jì)學(xué)家，這樣的“學(xué)霸爸媽”顯然讓Hinton的童年不太好過，正如他自己所說：“我大概在7歲的時候就意識到，不讀博是不行了（微笑臉）?！?/span> 而最初把Hinton引上人工智能這條路的，是他對人腦的好奇。 Hinton很早就沉迷于大腦如何工作的問題。于是，他開始進(jìn)入生理學(xué)，解剖大腦以了解其工作方式。 不滿足于此，他又開始學(xué)習(xí)心理學(xué)。最后，他決定更多地使用計算機(jī)科學(xué)的方法來模擬大腦，并進(jìn)入人工智能領(lǐng)域，開始了他近40年的研究生涯。 “我認(rèn)為，如果你真的想了解一個非常復(fù)雜的裝置，比如大腦，那你就制作一個?！?/span> 堅信神經(jīng)網(wǎng)絡(luò)：“其他人都錯了” 盡管現(xiàn)在已經(jīng)成為了人工智能的主流研究方法，神經(jīng)網(wǎng)絡(luò)在最初問世時，命途多舛。 1956年，美國認(rèn)知心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）基于神經(jīng)元的理論發(fā)明了一種模擬神經(jīng)元的方法。它的基本點(diǎn)是一個被稱為神經(jīng)元的小單位的集合。 這些集合都是小的計算單元，但可以模擬人腦計算的方式。和我們從感官中獲取數(shù)據(jù)一樣，這些神經(jīng)元可以獲取傳入數(shù)據(jù)并進(jìn)行學(xué)習(xí)，所以神經(jīng)網(wǎng)絡(luò)可以隨著時間的推移做出決定。 但是，Rosenblatt的學(xué)習(xí)算法當(dāng)時對于多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不起作用。人工智能學(xué)者們也因此放棄了學(xué)習(xí)式軟件的想法。他們轉(zhuǎn)而使用邏輯來產(chǎn)生智能——比如下棋的能力。 幾乎沒人再相信神經(jīng)網(wǎng)絡(luò)的前景，也沒人再研究神經(jīng)網(wǎng)絡(luò)。 除了Hinton。 “大腦是一個巨大的神經(jīng)網(wǎng)絡(luò)，因此，神經(jīng)網(wǎng)絡(luò)必須也是可以工作的，因?yàn)樗谖覀兊拇竽X中起作用。”Hinton說。 “那是什么支持著你不放棄？” “其他人都錯了（everyone else is wrong）?！?/span> 離開五角大樓，成為“加拿大之光” 為了找到一個支持他研究神經(jīng)網(wǎng)絡(luò)的棲身之處，Hinton在美國輾轉(zhuǎn)多地。但是，當(dāng)時大部分的學(xué)術(shù)研究都是受到國防部支持。 而Hinton對于這樣拿到自己的研究經(jīng)費(fèi)并不滿意：“我不希望我的研究成果被用在一些不善意的目標(biāo)上?！?/span> 的確，深度學(xué)習(xí)從誕生之日起，就與國防部的一些軍事目的有著不可分割的淵源。 甚至直至今天依然如此——今年3月谷歌被曝光正參與Maven項(xiàng)目，向美國軍方提供TensorFlow APIs和無人機(jī)圖像識別技術(shù)，引起巨大爭議和眾多抗議，6月谷歌不得不承諾不將AI用于武器。這場聲勢浩大的爭論甚至將戰(zhàn)火燃到了李飛飛身上。 而關(guān)于AI倫理和技術(shù)人員責(zé)任的爭論也從來沒有停止過。 近兩年，將算法用來自動識別一起犯罪是否屬于團(tuán)伙犯罪，或識別一個人是否是同性戀的研究屢見不鮮，算法的締造者是否應(yīng)該在研究之外分出心力，了解自己研究背后更深的影響呢？ 在40年前，Hinton的選擇或許已經(jīng)給出了他的答案。 為了避免為五角大樓服務(wù)，Hinton最終落腳在加拿大的多倫多大學(xué)。這個國家歡迎他，也支持他的神經(jīng)網(wǎng)絡(luò)研究。“去這個文明的小鎮(zhèn)繼續(xù)研究對我來說非常有吸引力。” 而HIinton也沒有讓加拿大失望。 正因?yàn)镠inton和他的學(xué)生的研究，加拿大現(xiàn)在已經(jīng)成為人工智能研究的重要力量之一，多家人工智能巨頭都將他們的研究中心開在了多倫多，各種前沿人才為了追隨Hinton的腳步，絡(luò)繹不絕地來到這座北方國度：“Hinton將加拿大拉入了AI超級大國的版圖?！?/span> 堅持你認(rèn)為對的，直到世界追上你的腳步 在多倫多，Hinton和他的團(tuán)隊研究出了更深度的神經(jīng)網(wǎng)絡(luò)，以解決更復(fù)雜的問題。他們共同開發(fā)了一個多層神經(jīng)網(wǎng)絡(luò)，這個深度神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于多個方面。 比如有人用它在80年代就打造了一輛無人車并且開上了路。 而現(xiàn)在已經(jīng)是深度學(xué)習(xí)的另一位領(lǐng)袖人物、Facebook的AI實(shí)驗(yàn)室負(fù)責(zé)人Yann LeCun則利用深度神經(jīng)網(wǎng)絡(luò)建立了一個可以識別手寫數(shù)字的系統(tǒng)。這一系統(tǒng)最終實(shí)現(xiàn)了商用。 在當(dāng)時，深度神經(jīng)網(wǎng)絡(luò)的前景似乎一片大好，但是，現(xiàn)實(shí)中的故事往往沒有這么簡單。 Hinton的研究再次遇到了瓶頸。 “我們當(dāng)時并沒有足夠的數(shù)據(jù)，也沒有足夠的計算機(jī)運(yùn)行能力，AI和計算機(jī)科學(xué)的從業(yè)者認(rèn)為神經(jīng)網(wǎng)絡(luò)是一廂情愿的想法。” 但Hinton始終堅持著，盡管完全不被重視。 他坐在房間的最角落里參加學(xué)術(shù)會議，在大牛云集的人工智能會議上完全不被重視。甚至他自己也開始產(chǎn)生了懷疑：“有很多次我都覺得我不會繼續(xù)這項(xiàng)工作了”。 直到這個世界開始慢慢追上他的腳步。 2006年，計算機(jī)的運(yùn)行速度有了巨大的提高，超快速芯片的到來以及互聯(lián)網(wǎng)上產(chǎn)生的大量數(shù)據(jù)使得Hinton的算法變得非常神奇。突然之間，計算機(jī)開始可以識別圖像中的內(nèi)容，可以識別語音，可以將一種語言翻譯成另一種語言。 2012年，Geoffry Hinton和他的團(tuán)隊帶著 AlexNet參加了那一年的 ImageNet ILSVRC 挑戰(zhàn)賽，以驚人的優(yōu)勢獲勝（錯誤率比第二名低了足足 10%）。這篇被 NIPS 2012 收錄的論文被認(rèn)為是深度學(xué)習(xí)熱的開啟。 同年，“神經(jīng)網(wǎng)絡(luò)”和“機(jī)器學(xué)習(xí)”等詞匯也開始在紐約時報的頭版出現(xiàn)。 “人們終于理解了這個概念，我感到很欣慰?！盚inton這樣說。 推翻自己，膠囊網(wǎng)絡(luò)的提出 盡管已經(jīng)成為了深度學(xué)習(xí)的領(lǐng)袖人物，Hinton的腳步卻從沒有停歇。2017年10月26日，Hinton發(fā)表了一篇在AI圈掀起軒然大波的論文——Capsule Networks（膠囊網(wǎng)絡(luò)）。 Hinton高喊，“卷積神經(jīng)網(wǎng)絡(luò)（CNN）的時代已經(jīng)過去了！”，將他過去幾十年的研究翻了過去。 感興趣的讀者可以查看論文。 論文鏈接： https:///pdf/1710.09829v1.pdf 盡管膠囊網(wǎng)絡(luò)現(xiàn)在仍然處在嬰兒期，在訓(xùn)練龐大的數(shù)據(jù)集時，仍可能會遇到問題，但在未來，Hinton相信它還有發(fā)展的巨大潛力。 也許，這位深度學(xué)習(xí)教父還將再次改寫深度學(xué)習(xí)的發(fā)展歷程。 【今日機(jī)器學(xué)習(xí)概念】 Have a Great Definition |
|
|
