來源：NVIDIA官網(wǎng)

譯者：曲曉峰，香港理工大學(xué)人體生物特征識(shí)別研究中心博士生

個(gè)人科研主頁： http://www./research

* * *

“開學(xué)了”——正是形容正在“訓(xùn)練”階段的深度神經(jīng)網(wǎng)絡(luò)最貼切的狀態(tài)。神經(jīng)網(wǎng)絡(luò)和所有的學(xué)生一樣，通過接受教育，來學(xué)習(xí)如何完成工作。

確切的說，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，可以根據(jù)其所學(xué)，在數(shù)字化的世界中輕松地完成各種各樣的工作，如：識(shí)別圖像、識(shí)別記錄口述的語言、檢測(cè)血液中的疾病，或者推薦符合某人風(fēng)格的一雙鞋子等等。此時(shí)的神經(jīng)網(wǎng)絡(luò)，由于經(jīng)過了完善的訓(xùn)練，可以快速高效地從新的數(shù)據(jù)中“推斷”各種結(jié)論。在人工智能術(shù)語中，稱之為“推斷”（Inference）。

推斷（Inference），就是深度學(xué)習(xí)把從訓(xùn)練中學(xué)習(xí)到的能力應(yīng)用到工作中去。

不難想象，沒有訓(xùn)練就沒法實(shí)現(xiàn)推斷。我們?nèi)艘彩沁@樣，通過學(xué)習(xí)來獲取知識(shí)、提高能力。同樣，我們顯然并不需要非得拖著我們所有的老師，帶著一堆塞滿書的書架和一座紅磚的校舍，才能讀懂紅樓夢(mèng)（或者莎士比亞十四行詩）。深度神經(jīng)網(wǎng)絡(luò)推斷的時(shí)候也是一樣，完成推斷任務(wù)，并不需要其訓(xùn)練時(shí)那樣的海量資源。

下面，就讓我們梳理下從訓(xùn)練到推斷的整個(gè)過程，包括二者在人工智能中所起到的作用，詳細(xì)講清楚。

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)

* * *

我們可以把深度學(xué)習(xí)的訓(xùn)練想象成學(xué)校。這個(gè)學(xué)校訓(xùn)練網(wǎng)絡(luò)以便讓其能夠在廣闊的世界里面解決現(xiàn)實(shí)問題。

同樣，顯然地，我們并不需要非得拖著我們所有的老師，帶著一堆塞滿書的書架和一座紅磚的校舍，才能讀懂紅樓夢(mèng)（或者莎士比亞十四行詩）。深度神經(jīng)網(wǎng)絡(luò)推斷的時(shí)候也是一樣，完成推斷任務(wù)，并不需要其訓(xùn)練時(shí)那樣的海量資源。

盡管目的都是獲取知識(shí)，但一個(gè)神經(jīng)網(wǎng)絡(luò)的“教育”（訓(xùn)練）跟人還是不一樣的。神經(jīng)網(wǎng)絡(luò)大體上以人類大腦的神經(jīng)結(jié)構(gòu)為基礎(chǔ)，即一組互相連接的神經(jīng)元。但與人腦并不完全相同。人腦神經(jīng)元與周圍一小圈范圍內(nèi)的所有神經(jīng)元都是互相連接的，而人工神經(jīng)網(wǎng)絡(luò)是分層的、是在層與層之間互相連接的、網(wǎng)絡(luò)中數(shù)據(jù)的傳播是有向的。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，訓(xùn)練數(shù)據(jù)被輸入到網(wǎng)絡(luò)的第一層。然后所有的神經(jīng)元，都會(huì)根據(jù)任務(wù)執(zhí)行的情況，根據(jù)其正確或者錯(cuò)誤的程度如何，分配一個(gè)權(quán)重參數(shù)（權(quán)值）。

在圖像識(shí)別網(wǎng)絡(luò)中，第一層可能會(huì)尋找圖像中的邊緣。第二層可能會(huì)尋找這些邊緣所組成的圖形，如長(zhǎng)方形或者圓形。第三層可能會(huì)尋找特定特征，如閃亮的眼睛或者遠(yuǎn)遠(yuǎn)鼻子。每一層都把圖像傳遞到下一層，直到最后一層。而最終的輸出由網(wǎng)絡(luò)中所有的權(quán)值共同決定。

這里，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與人類的教育就不一樣了。以識(shí)別圖像中的貓為例，神經(jīng)網(wǎng)絡(luò)讀入所有訓(xùn)練圖像，根據(jù)權(quán)值，得出是否是貓的一個(gè)論斷。網(wǎng)絡(luò)訓(xùn)練所額外需要的，僅僅是這個(gè)論斷是“正確”還是“錯(cuò)誤”這樣的反饋。

訓(xùn)練是運(yùn)算密集的

* * *

如果算法告訴神經(jīng)網(wǎng)絡(luò)其論斷錯(cuò)誤，網(wǎng)絡(luò)并不需要知道正確的答案是什么。但這個(gè)錯(cuò)誤會(huì)回傳到網(wǎng)絡(luò)各層，讓網(wǎng)絡(luò)再猜一下，給出一個(gè)不同的論斷。

每次給出論斷時(shí)，網(wǎng)絡(luò)都要考慮所有特性，在這個(gè)例子里面就是“貓”的所有特性，然后根據(jù)其檢測(cè)到的特性調(diào)整網(wǎng)絡(luò)中的權(quán)值，調(diào)高或者降低。然后再次給出論斷，一次又一次，一次再一次，直到網(wǎng)絡(luò)中的權(quán)值都調(diào)整到位，幾乎每次都能夠輸出正確論斷。那就是貓了。

訓(xùn)練會(huì)先教深度學(xué)習(xí)網(wǎng)絡(luò)在一個(gè)有限的圖像集里標(biāo)出貓的圖像，稍后，該網(wǎng)絡(luò)就會(huì)在廣闊的世界中檢測(cè)貓。

現(xiàn)在，我們得到了數(shù)據(jù)結(jié)構(gòu)和根據(jù)訓(xùn)練數(shù)據(jù)學(xué)習(xí)到的達(dá)到平衡的一整套的權(quán)值。這可是精心調(diào)配的精美機(jī)器。可問題是，這也是需要一直吞噬運(yùn)算能力的巨獸。曾在 Google 和斯坦福磨礪人工智能、現(xiàn)在百度硅谷實(shí)驗(yàn)室的吳恩達(dá)教授說，百度訓(xùn)練一個(gè)中文語言識(shí)別模型不僅需要 4TB 的訓(xùn)練數(shù)據(jù)，在整個(gè)訓(xùn)練循環(huán)中，還需要兩千億億次浮點(diǎn)運(yùn)算能力（20 exaflops, 20 billion billion）。不知道有沒有人想用智能手機(jī)試一下。

接下來，就是推斷了。

恭喜！你的神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成，可以進(jìn)行推斷了

* * *

精心調(diào)整權(quán)值之后的神經(jīng)網(wǎng)絡(luò)基本上就是個(gè)笨重、巨大的數(shù)據(jù)庫?，F(xiàn)在，原本為了教育這個(gè)笨家伙而投入的巨大資源，即相當(dāng)于教育過程中的筆本、書籍、老師的白眼等，在完成現(xiàn)實(shí)任務(wù)時(shí)已經(jīng)根本用不上了。呃，畢業(yè)似乎就是要扔掉這些東西？

為了充分利用訓(xùn)練的結(jié)果，完成現(xiàn)實(shí)社會(huì)的任務(wù)，我們需要的是一個(gè)能夠保留學(xué)習(xí)到的能力，還能迅速應(yīng)用到前所未見的數(shù)據(jù)上的，響應(yīng)迅速的系統(tǒng)。這就是推斷，根據(jù)真實(shí)世界中的少量數(shù)據(jù)，迅速地提供正確的答案（其實(shí)你也把它理解為預(yù)測(cè)，prediction）。

這可是計(jì)算機(jī)科學(xué)的全新領(lǐng)域。現(xiàn)在主要有兩種方法來優(yōu)化龐大笨拙的神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)高速低延遲的應(yīng)用。

如何應(yīng)用推斷？

* * *

想看看推斷在真實(shí)世界中的使用效果？看看你的智能手機(jī)就可以了。

推斷的應(yīng)用效果？打開你的智能手機(jī)就可以了。推斷用在深度學(xué)習(xí)的每一個(gè)場(chǎng)景，從語言識(shí)別到照片分類。

第一個(gè)方法，是查找神經(jīng)網(wǎng)絡(luò)中經(jīng)過訓(xùn)練后并沒有用到、也就是說尚未激活的部分。這些區(qū)域在應(yīng)用中并不需要，所以可以被清洗掉。

第二個(gè)方法，則是把神經(jīng)網(wǎng)絡(luò)中的多個(gè)層融合為一個(gè)單獨(dú)的計(jì)算步驟。

在數(shù)字圖像上，壓縮很常見。設(shè)計(jì)師可能繪制恢宏壯麗，百萬像素寬和高的圖像。但放上網(wǎng)的，卻都是有損壓縮圖像的JPEG格式。人眼無法看出區(qū)別，幾乎是一模一樣，但分辨率確實(shí)降低了。推斷也是同樣的——我們可以達(dá)到幾乎一樣的預(yù)測(cè)、識(shí)別準(zhǔn)確率，但模型確實(shí)是簡(jiǎn)化了、壓縮了、針對(duì)運(yùn)行的性能進(jìn)行優(yōu)化了。

這意味著所有人都在使用推斷。我們的手機(jī)中語音助手使用推斷。Google 的語言識(shí)別、圖像搜索、垃圾郵件過濾等也都使用了推斷。百度的語言識(shí)別、惡意程序檢測(cè)和垃圾郵件過濾也都使用推斷。Facebook 的圖像識(shí)別和亞馬遜及 Netflix 的推薦引擎也都依賴于推斷。

GPU，由于它出色的并行運(yùn)算能力，可以一次做很多件事情，因此它非常適合進(jìn)行深度學(xué)習(xí)的訓(xùn)練和推斷。使用 GPU 訓(xùn)練得到的深度學(xué)習(xí)系統(tǒng)，讓計(jì)算機(jī)能夠與人類一樣，甚至有些時(shí)候比人類更好地檢測(cè)模式和物體。

訓(xùn)練完成之后，神經(jīng)網(wǎng)絡(luò)部署于現(xiàn)場(chǎng)，以便推斷分類數(shù)據(jù)或推導(dǎo)結(jié)果。在這里，GPU 及其并行運(yùn)算能力同樣可以為神經(jīng)網(wǎng)絡(luò)識(shí)別模式和物體所需的數(shù)以億計(jì)的海量運(yùn)算提供幫助。

我們將會(huì)看到這些模型逐漸地變得更加聰明、更加迅速、更加準(zhǔn)確。訓(xùn)練會(huì)變得不那么煩人，而推導(dǎo)也會(huì)帶來生活中方方面面的新應(yīng)用。就像我們年輕時(shí)經(jīng)常聽到的“諄諄教誨”，似乎看來對(duì)“人工智能”也同樣適用——“別傻了，在學(xué)校好好念書?！蓖茢嘧匀痪驮谕饷娴戎貇