|
說起神經(jīng)網(wǎng)絡(luò)，當(dāng)然不得不提起的就是Hinton大神，Hinton是加拿大多倫多大學(xué)計(jì)算機(jī)系的教授，是杰出的機(jī)器學(xué)習(xí)和人工智能的學(xué)者。與 Lecun、Bengio 合稱為深度學(xué)習(xí)的三大神，是現(xiàn)在深度學(xué)習(xí)領(lǐng)域最火的人物。 那上面提到神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)，這兩者之間有什么區(qū)別呢？其實(shí)簡單的說來，深度學(xué)習(xí)就是改造后的深層神經(jīng)網(wǎng)絡(luò)。先來I說說神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)是從80年代開始火起來，并且在當(dāng)時(shí)被認(rèn)為是人工智能的希望，在理論上神經(jīng)網(wǎng)絡(luò)可以表示與或運(yùn)算，那么多層就可以表示任意的任意的與或運(yùn)算。并且發(fā)明了反向傳播算法（BackPropagation，BP算法），用來最優(yōu)化求解神經(jīng)網(wǎng)絡(luò)。 那么到了90年代，神經(jīng)網(wǎng)絡(luò)就漸漸開始沒落。為什么呢？一個(gè)是因?yàn)樯窠?jīng)網(wǎng)絡(luò)在理論上并不完善，沒有嚴(yán)謹(jǐn)?shù)睦碚撝?。并且神?jīng)網(wǎng)絡(luò)一旦層數(shù)變多，變深，最優(yōu)化求解就變得非常難，然而此時(shí)出現(xiàn)了支持向量機(jī)（Support Vector Machine，SVM）。支持向量機(jī)是一個(gè)在理論上有嚴(yán)謹(jǐn)證明的方法，所以此時(shí)SVM開始火起來，并且被認(rèn)為是神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的繼任者。更有甚者，此時(shí)在著名的計(jì)算機(jī)雜志上，有關(guān)神經(jīng)網(wǎng)絡(luò)的文章都非常難發(fā)表，但是與SVM相關(guān)的文章卻特別容易發(fā)表。 到了21世紀(jì)，也就是00年后，具體說來是2006年，神經(jīng)網(wǎng)絡(luò)又一次煥發(fā)光芒，這次他換了一個(gè)名字叫做深度學(xué)習(xí)。由Hinton、Lecun、Bengio三大神聯(lián)合在Nature上發(fā)表了一篇有關(guān)深度學(xué)習(xí)的文章，也就是從2006年開始，深度學(xué)習(xí)開始一發(fā)不可收拾。這是Hinton等人從80年代一直不懈的堅(jiān)持，堅(jiān)持了90年代的沒落期，一直堅(jiān)持到06年的再次輝煌。那么為什么神經(jīng)網(wǎng)絡(luò)能又一次再次輝煌呢？ 主要包括以下幾個(gè)原因：計(jì)算能力的增強(qiáng)、大數(shù)據(jù)的支持、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的技巧。在從80年代到06年這差不多20年的時(shí)間里，發(fā)生了太多的事情，CPU的計(jì)算能力在按照摩爾定律發(fā)展著，互聯(lián)網(wǎng)的崛起，帶來的大數(shù)據(jù)，Hinton這些老前輩們對(duì)神經(jīng)網(wǎng)絡(luò)的堅(jiān)持。賦予神經(jīng)網(wǎng)絡(luò)以深度學(xué)習(xí)的名稱，首先在圖像領(lǐng)域發(fā)力，然后在語音、自然語音等各個(gè)人工智能領(lǐng)域發(fā)力，取得了驚人的成績。 在圖像領(lǐng)域，ImageNet比賽，近些年來在深度學(xué)習(xí)的使用后，提高了20多個(gè)百分點(diǎn)，從70%多到接近100%。此外涌現(xiàn)了大量的圖像識(shí)別領(lǐng)域的公司，像商湯科技（Sense Time），曠視科技（Face++）等，馬云在支付寶上刷臉技術(shù)的演示也展示了人臉識(shí)別技術(shù)在深度學(xué)習(xí)的幫助下，已經(jīng)非常成熟。 在語音識(shí)別領(lǐng)域，微軟研究人員通過與hintion合作，首先將RBM和DBN引入到語音識(shí)別聲學(xué)模型訓(xùn)練中，并且在大詞匯量語音識(shí)別系統(tǒng)中獲得巨大成功，使得語音識(shí)別的錯(cuò)誤率相對(duì)減低30%。科大訊飛、百度等公司或研究單位，也在進(jìn)行深度學(xué)習(xí)在語音識(shí)別上的研究。 在自然語音處理領(lǐng)域，基于深度學(xué)習(xí)的word2vector模型相對(duì)于傳統(tǒng)的詞袋模型（bag of words），也取得非常優(yōu)異的成績。 最后貼一張深度學(xué)習(xí)領(lǐng)域的三大神之一Hinton的照片。 機(jī)器學(xué)習(xí)第二發(fā)：支持向量機(jī) 機(jī)器學(xué)習(xí)第三發(fā)：入門書籍及網(wǎng)絡(luò)課程 機(jī)器學(xué)習(xí)第四發(fā)：機(jī)器學(xué)習(xí)基礎(chǔ) 機(jī)器學(xué)習(xí)第五發(fā)：BS教你如何解析網(wǎng)頁，規(guī)整數(shù)據(jù)？ |
|
|
