人工智能的主流算法Deep Learning深度學(xué)習(xí)的歷史,堪稱Deep History, 也是深度學(xué)習(xí)三劍客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走過(guò)的30年艱難而輝煌的不悔人生。他們?nèi)绾螐漠?dāng)年的地下小團(tuán)體成為今天引領(lǐng)人工智能的風(fēng)云人物,來(lái)看看其中的精彩故事。 Geoff Hinton,谷歌大腦研究小組的負(fù)責(zé)人,出生在英國(guó),1977年在愛(ài)丁堡大學(xué)獲得博士學(xué)位,開始對(duì)模擬神經(jīng)網(wǎng)絡(luò)著迷。之后在加拿大多倫多大學(xué)任教,2013年他的公司DNNresearch被Google收購(gòu)。他被稱為深度學(xué)習(xí)教父。 Yann LeCun, Facebook人工智能研究小組FAIR的主任,出生在巴黎,在 Université Pierre et Marie Curie獲得博士學(xué)位。曾在AT&T Bell Labs工作多年,2003年起在紐約大學(xué)NYU任教,2013年獲小扎邀請(qǐng)加盟Facebook。 Yoshua Bengio – Université de Montréal大學(xué)教授。出生在法國(guó),在McGill University獲得博士學(xué)位,曾在MIT跟隨Michael Jordan教授做博士后研究,后任職 AT&T Bell Labs,1993年起在Université de Montréal任教。 Geoff Hinton, Godfather of Deep Learning 這個(gè)故事要追溯到1956年,美國(guó)認(rèn)知心理學(xué)家弗蘭克·羅森布拉特(Frank Rosenblatt)基于神經(jīng)元的理論發(fā)明了一種模擬神經(jīng)元的方法。紐約時(shí)報(bào)稱之為與'E-brain teaches itself.' 這個(gè)被Rosenblatt稱為感知器Perceptron的發(fā)明,可以學(xué)習(xí)如何將簡(jiǎn)單的圖像分類為三角形和正方形。當(dāng)時(shí)是在巨大的機(jī)器上實(shí)施模擬,纏繞著厚重的電線,但這為神經(jīng)網(wǎng)絡(luò)創(chuàng)立了理論和實(shí)驗(yàn)基礎(chǔ)。 Rosenblatts發(fā)明的電腦有八個(gè)模擬神經(jīng)元,由電機(jī)和撥號(hào)盤連接到400個(gè)光檢測(cè)器。每個(gè)神經(jīng)元都接收到來(lái)自光檢測(cè)器的信號(hào)的一部分,將它們組合起來(lái),并且根據(jù)它們添加到哪里,輸出1或0。這些數(shù)字組成對(duì)感知器所看到的事物的描述。當(dāng)然,最初的結(jié)果完全無(wú)效。之后Rosenblatt使用一種稱為監(jiān)督學(xué)習(xí)的方法來(lái)訓(xùn)練感知器,以正確區(qū)分不同形狀。他向感知器顯示一個(gè)圖像以及正確的答案,然后,機(jī)器將調(diào)整每個(gè)神經(jīng)元對(duì)其輸入信號(hào)的關(guān)注度,將這些“權(quán)重”轉(zhuǎn)移到將產(chǎn)生正確答案的設(shè)置。 在試過(guò)多次之后,這些調(diào)整使計(jì)算機(jī)具有足夠的智能,可正確地對(duì)之前從未見(jiàn)過(guò)的圖像進(jìn)行分類。今天的深度學(xué)習(xí)網(wǎng)絡(luò)使用復(fù)雜的算法,并擁有數(shù)百萬(wàn)個(gè)模擬神經(jīng)元,它們之間有數(shù)十億個(gè)連接,也是以同樣的方式訓(xùn)練的。 Rosenblatt預(yù)測(cè),感知器很快就能夠?qū)W會(huì)向人打招呼。他的想法成為人工智能新生領(lǐng)域的基石。當(dāng)時(shí)研究工作的重點(diǎn)是使感知器具有更復(fù)雜的網(wǎng)絡(luò),排列成多個(gè)學(xué)習(xí)層的結(jié)構(gòu),在圖層中連續(xù)傳遞圖像或其他數(shù)據(jù),使感知器能夠解決更復(fù)雜的問(wèn)題。 不幸的是,Rosenblatt的學(xué)習(xí)算法當(dāng)時(shí)對(duì)于多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不起作用。在1969年,曾與他一起上過(guò)高中的人工智能先驅(qū),MIT的權(quán)威人士Marvin Minsky,和知名專家Seymour Papert一起,寫了一本批評(píng)感知器學(xué)派的書Perceptrons,扼殺了當(dāng)時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的研究興趣。 Minsky表示,多層次神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并不會(huì)使感知器強(qiáng)大到有實(shí)用價(jià)值。人工智能學(xué)者們也因此放棄了學(xué)習(xí)式軟件的想法。他們轉(zhuǎn)而使用邏輯來(lái)產(chǎn)生智能 :比如下棋的能力。神經(jīng)網(wǎng)絡(luò)則被推到了計(jì)算機(jī)科學(xué)的邊緣。 2012年, 基于深度學(xué)習(xí)CNN網(wǎng)絡(luò)的AlexNet在ILSVRC競(jìng)賽的ImageNet上大放異彩。 深深影響了做圖像目標(biāo)檢測(cè)UC Berkeley的Jitendra Malik, 他鼓勵(lì)博士后Ross Girshick采用CNN技術(shù)到圖像目標(biāo)檢測(cè)上。Ross Girshick剛從他的博士導(dǎo)師Pedro Felipe Felzenszwalb那里畢業(yè), 讀博期間導(dǎo)師和他一起發(fā)明了DPM算法, 改進(jìn)了Navneet Dalal和Bill Triggs 提出的HoG特征方法,成為當(dāng)時(shí)的經(jīng)典。 Ross Girshick不辱使命, 在2014年利用CNN成功取代了HOG、DPM等特征提取, 結(jié)合Selective Search做區(qū)域推薦, 再結(jié)合SVM做分類算法, 成功推出R-CNN,轟動(dòng)世界。 開啟了深度學(xué)習(xí)上的圖像目標(biāo)檢測(cè)。 隨后,何凱明也基于SPM推出了SPPNet。同時(shí),RCNN在成功結(jié)合RoI技術(shù)、RPN技術(shù)后迅速改進(jìn)推出了Fast RCNN 和Faster RCNN。 為以后的YOLO、 SSD、AttratioNet、G-CNN、Mask R-CNN等網(wǎng)絡(luò)打下扎實(shí)的深度學(xué)習(xí)基礎(chǔ) |
|