2017年被稱為人工智能的發(fā)展元年，而人工智能能夠有今天的發(fā)展勢頭，并非偶然的，是其背后的深度學(xué)習(xí)技術(shù)的發(fā)展所帶來的，今天我們就通過深度學(xué)習(xí)教父Hinton的傳奇故事來看看深度學(xué)習(xí)到底是如何引爆今天的人工智能的。

2016年，AlphaGo與李世石的人機世紀(jì)對戰(zhàn)的新聞，讓人工智能從概念上真正走到了實際的生活之中，全世界第一次意識到，原來只能在科幻小說和科幻電影里看到的人工智能，第一次在現(xiàn)實世界打敗了人類頂尖高手，震驚了全世界。

AlphaGo對陣?yán)钍朗?/p>

時間往前倒推60年，在1956年，當(dāng)約翰·麥卡錫在達特茅斯（Dartmouth）學(xué)院第一次提出“人工智能”概念之時，他并沒有意識到，在不經(jīng)意間推開了一扇通往新世界的大門。在歷經(jīng)60載的跌宕起伏，人工智能終于在2017年迎來了前所未有的爆發(fā)。

2017年深圳CPSE和深圳高交會，最吸引眼球的展臺就是人工智能，尤其是人臉識別領(lǐng)域的獨角獸企業(yè)商湯科技，可謂是人氣爆棚。

說到人工智能，就不得不提到深度學(xué)習(xí)，深度學(xué)習(xí)的概念由Hinton等人于2006年提出，源自計算機神經(jīng)網(wǎng)絡(luò)，指通過計算機技術(shù)來模擬人腦學(xué)習(xí)的過程，使得機器具備學(xué)習(xí)的技能。

早在1956年約翰·麥卡錫提出人工智能概念之前的1943年，神經(jīng)網(wǎng)絡(luò)作為一個計算模型的理論最初由科學(xué)家Warren McCulloch和Walter Pitts在他們的論文里提出，人類科技文明的進步在很多時候是在模擬生物時而取得突破性進展的(比如飛機，潛艇等)，計算機神經(jīng)網(wǎng)絡(luò)也一樣，希望通過模擬人腦，讓機器能夠更加智能。

然而事情并非一帆風(fēng)順。

要知道，人的大腦有100多億個神經(jīng)細(xì)胞，至今人類仍然未搞清楚人腦的全部運行機制。所以想要通過模擬人腦來讓機器獲得人工智能，談何容易。

神經(jīng)網(wǎng)絡(luò)

1957年，康奈爾大學(xué)教授Frank Rosenblatt提出“感知器”的概念，并通過算法定義出了世界上第一個神經(jīng)網(wǎng)絡(luò)，感知器技術(shù)在六十年代的美國很流行，但Frank Rosenblatt通過算法定義的神經(jīng)網(wǎng)絡(luò)是單層神經(jīng)網(wǎng)絡(luò)，碰到了一些無法解決的問題，而且當(dāng)時計算機技術(shù)及計算能力的限制，使得這個世界上第一個計算機神經(jīng)網(wǎng)絡(luò)，逐漸被人淡忘了。

在此后的十幾年，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的人工智能研究，進入了低潮期，逐漸被人遺忘。

六十年代計算機神經(jīng)網(wǎng)絡(luò)的低潮期，有一個高中生Geoffrey Hinton，對人腦的工作原理特別著迷。當(dāng)時有一個同學(xué)告訴他，人腦的工作原理就像全息圖一樣。創(chuàng)建一個3D全息圖，需要大量的記錄入射光被物體多次反射的結(jié)果，然后將這些信息存儲進一個龐大的數(shù)據(jù)庫中。大腦儲存信息的方式居然與全息圖如此類似，大腦并非將記憶儲存在一個特定的地方，而是在整個神經(jīng)網(wǎng)絡(luò)里傳播。Hinton為此深深的著迷。

Geoffrey Hinton

簡單的說，大腦對于事物和概念的記憶，不是存儲在某個單一的地點，而是像全息照片一樣，分布式地，存在于一個巨大的神經(jīng)元的網(wǎng)絡(luò)里。

對Hinton來說，這是他人生的關(guān)鍵，也是他成功的起點。

大學(xué)畢業(yè)后，Hinton選擇繼續(xù)在愛丁堡大學(xué)讀研，并確定把人工智能(神經(jīng)網(wǎng)絡(luò))作為自己的研究方向。

而這個選擇，遭到了周圍朋友的質(zhì)疑，在計算機神經(jīng)網(wǎng)絡(luò)的低潮期，以此為課題，是需要極大的熱情和勇氣的。

神經(jīng)網(wǎng)絡(luò)當(dāng)時被詬病的一個問題就是巨大的計算量，早期的計算機神經(jīng)網(wǎng)絡(luò)采用的算法糾錯量，耗費的計算量，和神經(jīng)元(節(jié)點)的平方成正比，這使得神經(jīng)元無法增加到更多，限制了神經(jīng)網(wǎng)絡(luò)的發(fā)展。

而Hinton和David Rumelhart通過合作，把糾錯的運算量，降低到了只和神經(jīng)元的數(shù)目成正比。

而后Yann Lecun，在1989年又提出了“反向傳播算法在手寫郵政編碼上的應(yīng)用”，并用美國郵政系統(tǒng)提供的上萬個手寫數(shù)字樣本訓(xùn)練這個神經(jīng)網(wǎng)絡(luò)系統(tǒng)，最終錯誤率只有5%。

基于此他提出了卷積神經(jīng)網(wǎng)絡(luò)，并開發(fā)出了商業(yè)軟件，在支票識別領(lǐng)域占據(jù)了美國20%的市場份額。

計算機神經(jīng)網(wǎng)絡(luò)開始慢慢復(fù)蘇。

然而有一個人又把計算機神經(jīng)網(wǎng)絡(luò)帶入了第二個寒冬。

Vladimir Vapnik出生于蘇聯(lián)。1958年，他在撒馬爾罕(現(xiàn)屬烏茲別克斯坦)的烏茲別克國立大學(xué)完成了碩士學(xué)業(yè)。1964年，他于莫斯科的控制科學(xué)學(xué)院獲得博士學(xué)位。畢業(yè)后，他一直在該校工作直到1990年，在此期間，他成為了該校計算機科學(xué)與研究系的系主任。

1995年，他被倫敦大學(xué)聘為計算機與統(tǒng)計科學(xué)專業(yè)的教授。1991至2001年間，他工作于AT&T貝爾實驗室(后來的香農(nóng)實驗室)，并和他的同事們一起發(fā)明了支持向量機理論。他們?yōu)闄C器學(xué)習(xí)的許多方法奠定了理論基礎(chǔ)。

那么為何他能通過SVM算法帶到一個更高的高度，而把計算機神經(jīng)網(wǎng)絡(luò)給比下去了？

計算機神經(jīng)網(wǎng)絡(luò)非常精巧，最擅長的是局部最優(yōu)解，卻在尋求平衡點時，表現(xiàn)不佳，但在尋求最佳平衡點時，SVM卻表現(xiàn)搶眼。

支持向量機(SVM)

打個比方，要判斷這是不是一棵樹，通過對計算機神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練后，計算機神經(jīng)網(wǎng)絡(luò)甚至連這棵樹有多少片葉子也學(xué)習(xí)來作為判斷這是否是一棵樹的標(biāo)準(zhǔn)，但每棵樹的樹葉肯定不一樣，這就導(dǎo)致了，它太精準(zhǔn)了，反而無法分辨。

但如果將訓(xùn)練的標(biāo)準(zhǔn)定的太簡單，比如將綠色作為判定依據(jù)，那么只要看到綠色的東西，就會被識別為樹。

而SVM，恰好解決了這個平衡。

計算機神經(jīng)網(wǎng)絡(luò)的研究再次進入低潮，計算資源的有限，再一次限制了計算機神經(jīng)網(wǎng)絡(luò)的發(fā)展，在Hinton和他的同事們苦苦研究計算機神經(jīng)網(wǎng)絡(luò)時，當(dāng)時AI普遍的研究方向恰恰與他們相反，都在試圖尋找捷徑，直接模擬出行為，而不是試圖模擬人腦來實現(xiàn)。

寒冬

大家可能無法想象，在九十年代，每次對于計算機神經(jīng)網(wǎng)絡(luò)算法的調(diào)整，重新訓(xùn)練的時間往往是幾周，別說應(yīng)用，就是研究都很難進行下去。

但在這樣艱難的環(huán)境下，Hinton和Yann LeCun仍然堅持了下來，但學(xué)術(shù)界對于他們的研究仍然無法提起興趣。

計算機神經(jīng)網(wǎng)絡(luò)在等待著一個質(zhì)變。

Intel的CPU資源，一直是以其時鐘頻率的增長來實現(xiàn)其計算能力的增長，這就類似于一個人，從小到大，一步一步長大，力量也越來越大。Intel這樣一種CPU發(fā)展的路線，一直穩(wěn)穩(wěn)當(dāng)當(dāng)?shù)陌哉贾嬎阗Y源的頭把交椅。

然后我們的偉大領(lǐng)袖毛主席說過，人多力量大。

Intel的這種平衡被一個臺灣人打破了，他叫黃仁勛，臺灣人。誰也不知道他是不是真的聽了毛主席的話，但他創(chuàng)立的Nvidia(英偉達)，卻真正是在踐行毛主席的格言：人多力量大。

英偉達

Nvidia(英偉達)剛成立時，是面向個人電腦的游戲市場，主要推銷自己的圖像處理芯片，并發(fā)明了GPU(Graphics Processing Unit)這個名詞，Nvidia(英偉達)為大家所熟知的恐怕就是其Geforce系列游戲顯卡。

GPU跟CPU不一樣，他的運算頻率不高，但他是通過增加并行處理能力的方式來處理其對象的，這也跟他所需要處理的對象不同有關(guān)，圖像處理要處理的是圖像，圖像要處理的是一個一個很小的像素，處理每個很小的像素，并不需要很強的計算能力，但因為圖像處理對于實時性要求很高，因此要求大量的并行處理。

而計算機神經(jīng)網(wǎng)絡(luò)所需要處理的計算，正好跟圖像處理非常類似，每個神經(jīng)元所需要的計算資源不多，但因為整個神經(jīng)網(wǎng)絡(luò)包含大量的神經(jīng)元，GPU的出現(xiàn)，簡直就是專為計算機神經(jīng)網(wǎng)絡(luò)而設(shè)計。

此時GPU的人多力量大，并行計算的效率遠(yuǎn)超CPU。

而此時，無論是CPU還是GPU，在遵循摩爾定律的道路上，野蠻的增長著。

2010年，英偉達的480 GPU，一秒鐘計算速度達1.3萬億次浮點運算，而到了2015年的Titan X GPU，已經(jīng)達到6.1萬億次浮點運算每秒，五年時間，翻了近五倍，而其價格也只有1-2千美元左右，要知道，1996年底，1萬億次浮點運算每秒的人類超級計算機，價值是幾百萬美元。

計算機神經(jīng)網(wǎng)絡(luò)，終于等來春天。

計算機神經(jīng)網(wǎng)絡(luò)的發(fā)展經(jīng)歷跌宕起伏，在大部分時間都是處于低潮期，長期被學(xué)術(shù)界瞧不起，以致于任何研究項目只要提到'神經(jīng)網(wǎng)絡(luò)'，基本都會被簡單粗暴的直接拒絕，很難獲得研究經(jīng)費。

而Hinton和他的同事們?nèi)匀辉诳嗫鄨允亍?/p>

此時的Hinton也熬白了頭發(fā)，2003年，Hinton還在多倫多大學(xué)，當(dāng)著他的窮教授。也就是在這一年，Hinton及其團隊在一次向CIFAR(Canadian Institute for Advanced Research)的基金負(fù)責(zé)人申請資金支持時，該負(fù)責(zé)人問他為什么要支持他們的研究項目。

他們只好回答說：“如果CIFAR要跳出舒適區(qū)，尋找一個高風(fēng)險項目，那就是我們了！”

最終CIFAR卻同意了資助他們十年，從2004年到2014年，總共一千萬加元。

就像中國人相信改名能改運一樣，Hinton可能覺得“神經(jīng)網(wǎng)絡(luò)”這個名字實在是太不吉利了，當(dāng)然也可能是緣于之前幾十年“神經(jīng)網(wǎng)絡(luò)”的口碑太差，搖身一變，變成了“深度學(xué)習(xí)(Deep Learning)”了。

深度學(xué)習(xí)的概念由Geoffrey Hinton提出

而Geoffrey Hinton，也享有“深度學(xué)習(xí)”之父的美譽。

自此，深度學(xué)習(xí)正式誕生。

深度學(xué)習(xí)經(jīng)歷大起大落，終于在計算資源由量變積累到質(zhì)變的時刻，迎來了它的再一次熱潮。

當(dāng)然，深度學(xué)習(xí)能夠發(fā)展到今天，計算資源的野蠻增長，發(fā)揮了很大的作用，但Hinton及其所有堅守在計算機神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的人，也通過各種辦法，不斷的調(diào)整算法，使得算法也得到了非常大的進步，解決了之前碰到了的很多問題。

ImageNet 是一個計算機視覺系統(tǒng)識別項目名稱， 是目前世界上圖像識別最大的數(shù)據(jù)庫。是美國斯坦福的計算機科學(xué)家，模擬人類的識別系統(tǒng)建立的。

ImageNet大賽是圖片識別領(lǐng)域的'競技場'

也許大家還記得文章前面提到的Vladimir Vapnik的支持向量機(SVM)，雖然深度學(xué)習(xí)在Hinton的帶領(lǐng)下終于迎來春天，但大家并不覺得以計算機神經(jīng)網(wǎng)絡(luò)為核心的深度學(xué)習(xí)就很強，而就在2010年ImageNet競賽，以SVM技術(shù)為核心的NEC和伊利諾伊大學(xué)香檳分校聯(lián)合團隊，仍然以28%的誤識率斬獲第一。

2011年是以Fisher Vector的計算方法奪冠，將錯誤率降低到了25.7%。

2012年，以Hinton為首的團隊(帶領(lǐng)他的兩個研究生)，以他們最新的深度學(xué)習(xí)算法，應(yīng)用到ImageNet問題上，將誤識率降低了15.3%，一舉拿下冠軍，而排名第二的誤識率高達26.2%。

所有其他團隊，都是以類似SVM的向量機技術(shù)為基礎(chǔ)，這是神經(jīng)網(wǎng)絡(luò)二十年來，第一次在圖像識別領(lǐng)域，大幅度領(lǐng)先，學(xué)術(shù)界為此沸騰。

深度學(xué)習(xí)能夠迎來今天的成功，并非一蹴而就的，它比很多技術(shù)的發(fā)展還來得更加曲折，要不是Hinton的苦苦堅持，深度學(xué)習(xí)不會有今天的發(fā)展成就，也就不會有今天人工智能在各個行業(yè)的高速發(fā)展。

可以說就是Hinton的堅持，才讓深度學(xué)習(xí)能夠引爆全球人工智能的發(fā)展，造就今天AI的風(fēng)口，Hinton因此被譽為“深度學(xué)習(xí)教父”實至名歸。