|
紐約時(shí)間2019年3月27日，美國(guó)計(jì)算機(jī)協(xié)會(huì)（Association for Computing Machinery，簡(jiǎn)稱 ACM）將2018年度的圖靈獎(jiǎng)?lì)C發(fā)給了Yoshua Bengio，Geoffrey Hinton和Yann LeCun。三人因?yàn)樵谏疃葘W(xué)習(xí)領(lǐng)域的突破性研究，被稱為“深度學(xué)習(xí)三巨頭”。 Yoshua Bengio，Geoffrey Hinton和Yann LeCun，因?yàn)槠湓诟拍詈凸こ谭矫娴耐黄疲沟蒙疃壬窠?jīng)網(wǎng)絡(luò)成為計(jì)算領(lǐng)域的重要組成部分，評(píng)為2018年ACM AM圖靈獎(jiǎng)的獲獎(jiǎng)?wù)摺?/p>
Hinton，LeCun和Bengio獨(dú)立工作，共同開(kāi)發(fā)了深度學(xué)習(xí)領(lǐng)域的概念基礎(chǔ)，通過(guò)實(shí)驗(yàn)確定了令人驚訝的現(xiàn)象，并貢獻(xiàn)了工程進(jìn)展，證明了深度神經(jīng)網(wǎng)絡(luò)的實(shí)際優(yōu)勢(shì)。近年來(lái)，計(jì)算機(jī)視覺(jué)，語(yǔ)音識(shí)別，自然語(yǔ)言處理和機(jī)器人技術(shù)以及其他應(yīng)用領(lǐng)域頻頻取得突破，深度學(xué)習(xí)方法是背后原因。 雖然早在20世紀(jì)80年代，學(xué)界就引入了人工神經(jīng)網(wǎng)絡(luò)，作為幫助計(jì)算機(jī)模式識(shí)別和模擬人類智能的工具，但到了21世紀(jì)初，LeCun，Hinton和Bengio仍然是堅(jiān)持神經(jīng)網(wǎng)絡(luò)方法的少數(shù)人。雖然他們?cè)噲D重燃AI社區(qū)對(duì)神經(jīng)網(wǎng)絡(luò)興趣的努力最初曾遭受懷疑，但他們的想法近年來(lái)導(dǎo)引發(fā)了重大技術(shù)進(jìn)步，他們的方法現(xiàn)在已成為人工智能領(lǐng)域的主流范例。 ACM AM圖靈獎(jiǎng)，通常被稱為“計(jì)算機(jī)界的諾貝爾獎(jiǎng)”，由Google提供資金支持，獎(jiǎng)金為100萬(wàn)美元。它以英國(guó)數(shù)學(xué)家Alan M. Turing的名字命名，圖靈發(fā)現(xiàn)了計(jì)算機(jī)的數(shù)學(xué)基礎(chǔ)和及其運(yùn)行限制。 “人工智能現(xiàn)在是所有科學(xué)領(lǐng)域中發(fā)展最快的領(lǐng)域之一，也是社會(huì)上最受關(guān)注的話題之一，”ACM主席Cherri M. Pancake說(shuō)?！叭斯ぶ悄艿脑鲩L(zhǎng)和興趣在很大程度上歸功于Bengio，Hinton和LeCun在深度學(xué)習(xí)上的最新進(jìn)展。相關(guān)技術(shù)已經(jīng)被數(shù)十億人使用。任何有智能手機(jī)的人都可以體驗(yàn)到自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)方面的進(jìn)步，這在10年前是不可能實(shí)現(xiàn)的。除了我們每天使用的產(chǎn)品之外，深度學(xué)習(xí)的新進(jìn)展為科學(xué)家提供了強(qiáng)大的新工具——從醫(yī)學(xué)，天文學(xué)到材料科學(xué)。“ “深度神經(jīng)網(wǎng)絡(luò)促成了現(xiàn)代計(jì)算機(jī)科學(xué)的一些最大進(jìn)步，幫助在計(jì)算機(jī)視覺(jué)，語(yǔ)音識(shí)別和自然語(yǔ)言理解方面的長(zhǎng)期問(wèn)題上取得實(shí)質(zhì)性進(jìn)展，”Google高級(jí)研究員兼Google AI 副總裁 Jeff Dean說(shuō)?！斑@些進(jìn)展的核心，是30多年前由Yoshua Bengio，Geoffrey Hinton和Yann LeCun開(kāi)創(chuàng)的基礎(chǔ)技術(shù)。通過(guò)大幅提高計(jì)算機(jī)理解世界的能力，深度神經(jīng)網(wǎng)絡(luò)不僅改變了計(jì)算領(lǐng)域，而且?guī)缀醺淖兞丝茖W(xué)和人類努力的每一個(gè)領(lǐng)域。“ 在傳統(tǒng)計(jì)算任務(wù)中，程序使用明確的逐步指令來(lái)控制計(jì)算機(jī)。在深度學(xué)習(xí)中，計(jì)算機(jī)沒(méi)有明確被告知要如何解決特定任務(wù)，比如對(duì)象分類。相反，它使用學(xué)習(xí)算法來(lái)提取數(shù)據(jù)中的模式，這些模式將輸入數(shù)據(jù)（例如圖像的像素）與所需的輸出（例如標(biāo)簽“cat”）相關(guān)聯(lián)。研究人員面臨的挑戰(zhàn)是開(kāi)發(fā)有效的學(xué)習(xí)算法，以修改人工神經(jīng)網(wǎng)絡(luò)中連接的權(quán)重，從而使得這些權(quán)重捕獲數(shù)據(jù)中的相關(guān)模式。 Geoffrey Hinton自20世紀(jì)80年代初以來(lái)，一直倡導(dǎo)人工智能機(jī)器學(xué)習(xí)方法的研究了人類大腦如何發(fā)揮作用來(lái)建議機(jī)器學(xué)習(xí)系統(tǒng)的開(kāi)發(fā)方式。受大腦的啟發(fā)，他和其他人提出“人工神經(jīng)網(wǎng)絡(luò)”作為他們機(jī)器學(xué)習(xí)調(diào)查的基石。 在計(jì)算機(jī)科學(xué)中，“神經(jīng)網(wǎng)絡(luò)”指的是，由“神經(jīng)元”這種的相對(duì)簡(jiǎn)單的計(jì)算單元組成的系統(tǒng)。這些“神經(jīng)元”只與人類大腦中的神經(jīng)元相似，通過(guò)加權(quán)連接相互影響。通過(guò)改變連接權(quán)重，可以改變神經(jīng)網(wǎng)絡(luò)所做的計(jì)算。Hinton，LeCun和Bengio認(rèn)識(shí)到了使用深層神經(jīng)網(wǎng)絡(luò)的重要性——他們的工作被稱為“深度學(xué)習(xí)”。 LeCun，Bengio和Hinton在30年期間奠定的概念基礎(chǔ)和工程進(jìn)步因強(qiáng)大的圖形處理單元（GPU）計(jì)算機(jī)的普及以及對(duì)大量數(shù)據(jù)集的訪問(wèn)而得到顯著提升。近年來(lái)，這些和其他因素導(dǎo)致了計(jì)算機(jī)視覺(jué)，語(yǔ)音識(shí)別和機(jī)器翻譯等技術(shù)的跨越式發(fā)展。 Hinton，LeCun和Bengio一起獨(dú)立合作。例如，LeCun在Hinton的監(jiān)督下進(jìn)行了博士后工作，LeCun和Bengio從20世紀(jì)90年代初開(kāi)始在貝爾實(shí)驗(yàn)室工作。即使不合作，他們的工作也會(huì)產(chǎn)生協(xié)同作用和相互聯(lián)系，他們彼此之間的影響很大。 Bengio，Hinton和LeCun繼續(xù)探索機(jī)器學(xué)習(xí)與神經(jīng)科學(xué)和認(rèn)知科學(xué)的交叉，特別是通過(guò)他們共同參與CIFAR（以前稱為加拿大高級(jí)研究所）的一項(xiàng)計(jì)劃?rùn)C(jī)器和腦力學(xué)習(xí)計(jì)劃。 今年圖靈獎(jiǎng)獲得者的技術(shù)成就，導(dǎo)致人工智能技術(shù)取得重大突破，包括但不限于以下內(nèi)容：
反向傳播算法：在1986年與David Rumelhart和Ronald Williams共同撰寫(xiě)的“通過(guò)誤差傳播學(xué)習(xí)內(nèi)部表征”（Learning Internal Representations by Error Propagation）一文中，Hinton證明了，反向傳播算法能夠讓神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)自己內(nèi)部數(shù)據(jù)的表征方法，這使得使用神經(jīng)網(wǎng)絡(luò)可解決的問(wèn)題范圍大大拓寬。反向傳播算法是當(dāng)今大多數(shù)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)算法。 Boltzmann機(jī)：1983年，Hinton與Terrence Sejnowski一起，發(fā)明了Boltzmann機(jī)，這是第一個(gè)能夠?qū)W習(xí)神經(jīng)元內(nèi)部表征的神經(jīng)網(wǎng)絡(luò)之一。 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)：2012年，Hinton與其學(xué)生Alex Krizhevsky和Ilya Sutskever，使用線性整流和丟棄正則化，改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)。在著名的ImageNet競(jìng)賽中，Hinton和他的學(xué)生將對(duì)象識(shí)別的錯(cuò)誤率幾乎減半，這重塑了計(jì)算機(jī)視覺(jué)領(lǐng)域。
序列的概率模型：在20世紀(jì)90年代，Bengio將神經(jīng)網(wǎng)絡(luò)與序列的概率模型相結(jié)合（如隱馬爾可夫模型）。這些想法被納入了手寫(xiě)支票識(shí)別系統(tǒng)中，被認(rèn)為是20世紀(jì)90年代神經(jīng)網(wǎng)絡(luò)研究的巔峰之作，現(xiàn)代的深度學(xué)習(xí)語(yǔ)音識(shí)別系統(tǒng)正在擴(kuò)展這些概念。 高維詞匯嵌入和注意力機(jī)制：2000年，Bengio撰寫(xiě)了具有里程碑意義的論文“神經(jīng)概率語(yǔ)言模型”，它引入了高維詞嵌入表示詞語(yǔ)含義。Bengio的見(jiàn)解對(duì)自然語(yǔ)言處理任務(wù)產(chǎn)生了深遠(yuǎn)影響，包括語(yǔ)言翻譯、問(wèn)答和視覺(jué)問(wèn)答。他的團(tuán)隊(duì)引入了“注意力機(jī)制”，這引發(fā)了機(jī)器翻譯的突破，并成為用深度學(xué)習(xí)進(jìn)行序列處理的核心步驟。 生成式對(duì)抗網(wǎng)絡(luò)：2010年以來(lái)，Bengio關(guān)于生成性深度學(xué)習(xí)的論文，特別是他與Ian Goodfellow共同開(kāi)發(fā)的生成式對(duì)抗網(wǎng)絡(luò)（GAN），引發(fā)了計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的革命。這項(xiàng)工作的一個(gè)著名應(yīng)用是，計(jì)算機(jī)可以創(chuàng)建出逼真的圖像，仿佛擁有了人類智能才特有的創(chuàng)造力。
卷積神經(jīng)網(wǎng)絡(luò)：在20世紀(jì)80年代，LeCun就開(kāi)發(fā)卷積神經(jīng)網(wǎng)絡(luò)，這是該領(lǐng)域的基礎(chǔ)研究。卷積神經(jīng)網(wǎng)絡(luò)優(yōu)點(diǎn)很多，它使深度學(xué)習(xí)變得更加必要。20世紀(jì)80年代末，LeCun在多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作期間，率先在手寫(xiě)數(shù)字圖像上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)。如今，卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)視覺(jué)及語(yǔ)音識(shí)別、語(yǔ)音合成、圖像合成和自然語(yǔ)言處理的行業(yè)標(biāo)準(zhǔn)。它們有各種應(yīng)用，包括自動(dòng)駕駛、醫(yī)學(xué)圖像分析、語(yǔ)音助手和信息過(guò)濾。 改進(jìn)反向傳播算法：LeCun提出了反向傳播算法（backprop）的早期版本，并根據(jù)變分原理對(duì)其進(jìn)行了簡(jiǎn)潔推導(dǎo)。他推動(dòng)反向傳播算法的工作包括給出了兩種加速學(xué)習(xí)時(shí)間的簡(jiǎn)單方法。 拓寬神經(jīng)網(wǎng)絡(luò)的視野：LeCun拓展了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。他讓神經(jīng)網(wǎng)絡(luò)成為可以完成多種不同任務(wù)的計(jì)算模型，他在早期引入的一些工作，現(xiàn)在已成為人工智能領(lǐng)域的基礎(chǔ)概念。例如，在識(shí)別圖像的領(lǐng)域，LeCun研究了如何在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)分層特征表示——這個(gè)概念經(jīng)常在識(shí)別任務(wù)中出現(xiàn)。LeCun與Léon Bottou一起，提出了“學(xué)習(xí)系統(tǒng)可以被構(gòu)建為由模塊組成的復(fù)雜網(wǎng)絡(luò)”，這些模塊通過(guò)自動(dòng)微分來(lái)執(zhí)行反向傳播算法——這成為了當(dāng)今深度學(xué)習(xí)程序通用的想法。他們還提出可以處理結(jié)構(gòu)化數(shù)據(jù)（如圖數(shù)據(jù)）的深度學(xué)習(xí)架構(gòu)。
|
|
|
