神經(jīng)網(wǎng)絡(luò)的來源

      神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五、六十年代，當(dāng)時(shí)叫感知機(jī)（perceptron），包含有輸入層、輸出層和一個(gè)隱藏層。輸入的特征向量通過隱藏層變換到達(dá)輸出層，由輸出層得到分類結(jié)果。但早期的單層感知機(jī)存在一個(gè)嚴(yán)重的問題——它對(duì)稍微復(fù)雜一些的函數(shù)都無能為力（如異或操作）。直到上世紀(jì)八十年代才被Hition、Rumelhart等人發(fā)明的多層感知機(jī)克服，就是具有多層隱藏層的感知機(jī)。

      多層感知機(jī)可以擺脫早期離散傳輸函數(shù)的束縛，使用sigmoid或tanh等連續(xù)函數(shù)模擬神經(jīng)元對(duì)激勵(lì)的響應(yīng)，在訓(xùn)練算法上則使用Werbos發(fā)明的反向傳播BP算法。這就是現(xiàn)在所說的神經(jīng)網(wǎng)絡(luò)NN。

      神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對(duì)現(xiàn)實(shí)的刻畫能力——利用每層更少的神經(jīng)元擬合更加復(fù)雜的函數(shù)。但問題出現(xiàn)了——隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，優(yōu)化函數(shù)越來越容易陷入局部最優(yōu)解，并且這個(gè)“陷阱”越來越偏離真正的全局最優(yōu)。利用有限數(shù)據(jù)訓(xùn)練的深層網(wǎng)絡(luò)，性能還不如較淺層網(wǎng)絡(luò)。同時(shí)，另一個(gè)不可忽略的問題是隨著網(wǎng)絡(luò)層數(shù)增加，“梯度消失”現(xiàn)象更加嚴(yán)重。（具體來說，我們常常使用sigmoid作為神經(jīng)元的輸入輸出函數(shù)。對(duì)于幅度為1的信號(hào)，在BP反向傳播梯度時(shí)，每傳遞一層，梯度衰減為原來的0.25。層數(shù)一多，梯度指數(shù)衰減后低層基本上接受不到有效的訓(xùn)練信號(hào)。）

      2006年，Hition提出了深度學(xué)習(xí)的概念，引發(fā)了深度學(xué)習(xí)的熱潮。具體是利用預(yù)訓(xùn)練的方式緩解了局部最優(yōu)解的問題，將隱藏層增加到了7層，實(shí)現(xiàn)了真正意義上的“深度”。

DNN形成

    為了克服梯度消失，ReLU、maxout等傳輸函數(shù)代替了sigmoid，形成了如今DNN的基本形式。結(jié)構(gòu)跟多層感知機(jī)一樣，如下圖所示：

       我們看到全連接DNN的結(jié)構(gòu)里下層神經(jīng)元和所有上層神經(jīng)元都能夠形成連接，從而導(dǎo)致參數(shù)數(shù)量膨脹。假設(shè)輸入的是一幅像素為1K*1K的圖像，隱含層有1M個(gè)節(jié)點(diǎn)，光這一層就有10^12個(gè)權(quán)重需要訓(xùn)練，這不僅容易過擬合，而且極容易陷入局部最優(yōu)。

CNN形成

      由于圖像中存在固有的局部模式（如人臉中的眼睛、鼻子、嘴巴等），所以將圖像處理和神將網(wǎng)絡(luò)結(jié)合引出卷積神經(jīng)網(wǎng)絡(luò)CNN。CNN是通過卷積核將上下層進(jìn)行鏈接，同一個(gè)卷積核在所有圖像中是共享的，圖像通過卷積操作后仍然保留原先的位置關(guān)系。

       通過一個(gè)例子簡單說明卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。假設(shè)我們需要識(shí)別一幅彩色圖像，這幅圖像具有四個(gè)通道ARGB（透明度和紅綠藍(lán)，對(duì)應(yīng)了四幅相同大小的圖像），假設(shè)卷積核大小為100*100，共使用100個(gè)卷積核w1到w100(從直覺來看，每個(gè)卷積核應(yīng)該學(xué)習(xí)到不同的結(jié)構(gòu)特征)。

       用w1在ARGB圖像上進(jìn)行卷積操作，可以得到隱含層的第一幅圖像;這幅隱含層圖像左上角第一個(gè)像素是四幅輸入圖像左上角100*100區(qū)域內(nèi)像素的加權(quán)求和，以此類推。

同理，算上其他卷積核，隱含層對(duì)應(yīng)100幅“圖像”。每幅圖像對(duì)是對(duì)原始圖像中不同特征的響應(yīng)。按照這樣的結(jié)構(gòu)繼續(xù)傳遞下去。CNN中還有max-pooling等操作進(jìn)一步提高魯棒性。

      注意到最后一層實(shí)際上是一個(gè)全連接層，在這個(gè)例子里，我們注意到輸入層到隱藏層的參數(shù)瞬間降低到了100*100*100=10^6個(gè)！這使得我們能夠用已有的訓(xùn)練數(shù)據(jù)得到良好的模型。題主所說的適用于圖像識(shí)別，正是由于CNN模型限制參數(shù)了個(gè)數(shù)并挖掘了局部結(jié)構(gòu)的這個(gè)特點(diǎn)。順著同樣的思路，利用語音語譜結(jié)構(gòu)中的局部信息，CNN照樣能應(yīng)用在語音識(shí)別中。

RNN形成

      DNN無法對(duì)時(shí)間序列上的變化進(jìn)行建模。然而，樣本出現(xiàn)的時(shí)間順序?qū)τ谧匀徽Z言處理、語音識(shí)別、手寫體識(shí)別等應(yīng)用非常重要。為了適應(yīng)這種需求，就出現(xiàn)了大家所說的另一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。雷鋒網(wǎng)

      在普通的全連接網(wǎng)絡(luò)或CNN中，每層神經(jīng)元的信號(hào)只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨(dú)立，因此又被成為前向神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Networks)。而在RNN中，神經(jīng)元的輸出可以在下一個(gè)時(shí)間段直接作用到自身，即第i層神經(jīng)元在m時(shí)刻的輸入，除了(i-1)層神經(jīng)元在該時(shí)刻的輸出外，還包括其自身在(m-1)時(shí)刻的輸出！表示成圖就是這樣的：

為方便分析，按照時(shí)間段展開如下圖所示：

（t+1）時(shí)刻網(wǎng)絡(luò)的最終結(jié)果O（t+1）是該時(shí)刻輸入和所有歷史共同作用的結(jié)果！這就達(dá)到了對(duì)時(shí)間序列建模的目的。RNN可以看成一個(gè)在時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)，它的深度是時(shí)間的長度!正如我們上面所說，“梯度消失”現(xiàn)象又要出現(xiàn)了，只不過這次發(fā)生在時(shí)間軸上。

       所以RNN存在無法解決長時(shí)依賴的問題。為解決上述問題，提出了LSTM（長短時(shí)記憶單元），通過cell門開關(guān)實(shí)現(xiàn)時(shí)間上的記憶功能，并防止梯度消失，LSTM單元結(jié)構(gòu)如下圖所示：

      除了DNN、CNN、RNN、ResNet（深度殘差）、LSTM之外，還有很多其他結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。如因?yàn)樵谛蛄行盘?hào)分析中，如果我能預(yù)知未來，對(duì)識(shí)別一定也是有所幫助的。因此就有了雙向RNN、雙向LSTM，同時(shí)利用歷史和未來的信息。

      事實(shí)上，不論是哪種網(wǎng)絡(luò)，他們?cè)趯?shí)際應(yīng)用中常常都混合著使用，比如CNN和RNN在上層輸出之前往往會(huì)接上全連接層，很難說某個(gè)網(wǎng)絡(luò)到底屬于哪個(gè)類別。不難想象隨著深度學(xué)習(xí)熱度的延續(xù)，更靈活的組合方式、更多的網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展出來。

參考鏈接：https://www./news/201702/ZwcjmiJ45aW27ULB.html

簡單總結(jié)如下：