你肯定聽說過神經(jīng)網(wǎng)絡(luò)——一種神秘的、類似科幻小說的技術(shù)，它是一個(gè)熱門詞匯。但是作為一個(gè)不懂技術(shù)的人，你已經(jīng)把它們當(dāng)作了只留給計(jì)算機(jī)科學(xué)書呆子(比如我自己)的謎。這篇文章是為那些對計(jì)算機(jī)科學(xué)、編碼或數(shù)學(xué)一竅不通的人設(shè)計(jì)的。

什么是神經(jīng)網(wǎng)絡(luò)?

神經(jīng)網(wǎng)絡(luò)可以看作是一個(gè)人工信息處理器。它接受輸入，以某種方式處理它，然后產(chǎn)生一些輸出。以下將神經(jīng)網(wǎng)絡(luò)簡稱為網(wǎng)絡(luò)。網(wǎng)絡(luò)的結(jié)構(gòu)定義了它如何進(jìn)行處理，不同的結(jié)構(gòu)產(chǎn)生不同的輸出。網(wǎng)絡(luò)可以分類圖像、翻譯語言等等。

我們很快就會(huì)看到，網(wǎng)絡(luò)的某些部分是固定的，而其他部分(稱為參數(shù))可以更改。我們的目標(biāo)是調(diào)整這些參數(shù)，使我們的網(wǎng)絡(luò)學(xué)會(huì)解決問題。最初，我們的網(wǎng)絡(luò)在執(zhí)行任務(wù)時(shí)會(huì)非常糟糕，就像一個(gè)孩子在做微積分一樣，因?yàn)檫@些參數(shù)是隨機(jī)設(shè)置的。當(dāng)我們遍歷測試網(wǎng)絡(luò)的多個(gè)循環(huán)，并根據(jù)其響應(yīng)更新參數(shù)時(shí)，它會(huì)隨著時(shí)間的推移而變得更好。這種反復(fù)的測試和更新過程意味著訓(xùn)練數(shù)據(jù)是神經(jīng)網(wǎng)絡(luò)的重要組成部分。

讓我們來看看神經(jīng)網(wǎng)絡(luò)是什么樣子的。

網(wǎng)絡(luò)架構(gòu)

神經(jīng)網(wǎng)絡(luò)的最初動(dòng)機(jī)是人類大腦中的神經(jīng)元，它們有幾個(gè)重要特征:

1. 我們大腦中的神經(jīng)元通過大規(guī)模網(wǎng)絡(luò)相互連接，其中一些神經(jīng)元的輸出可以作為其他神經(jīng)元的輸入。
2. 神經(jīng)元之間的連接強(qiáng)度會(huì)隨著使用頻率的不同而發(fā)生變化，這就引出了唐納德·赫布(Donald Hebb)的一句流行語:“一起放電的神經(jīng)元串連在一起”。
3. 神經(jīng)元的電化學(xué)電位可以累積，但神經(jīng)元在電位超過某個(gè)閾值之前不會(huì)“觸發(fā)”。

讓我們看看我們是否可以通過觀察神經(jīng)網(wǎng)絡(luò)的構(gòu)建模塊、感知器，來人為地復(fù)制這些功能。

在上面的圖中，A和C作為兩個(gè)連接的神經(jīng)元，其中神經(jīng)元A的輸出x等于神經(jīng)元C的輸入。我們將用節(jié)點(diǎn)(圓圈)表示神經(jīng)元，用邊緣(直線)表示神經(jīng)元之間的連接。你可以這樣想象一個(gè)神經(jīng)元：它接受一些輸入，它持有一個(gè)值(輸入的一些組合)，然后將這個(gè)值作為輸出傳遞。到目前為止，這個(gè)模型滿足上面列出的第一個(gè)特性。讓我們介紹連接強(qiáng)度。

我們可以通過引入連接權(quán)重w來改變連接的強(qiáng)度。神經(jīng)元C的輸入現(xiàn)在是神經(jīng)元A的輸出x乘以權(quán)重w。直觀上，w的值越大(越小)，兩個(gè)神經(jīng)元之間的連接就越強(qiáng)(越弱)。這滿足第二個(gè)特性。最后，讓我們引入潛在閾值。

我們現(xiàn)在引入了另一個(gè)神經(jīng)元B，它的值為b，連接權(quán)重為-1。b被稱為偏置，我們很快就會(huì)知道為什么。C的輸入變成了A和B的加權(quán)和，即w*x + (-1)* b。接下來，我們將階躍函數(shù)應(yīng)用于C點(diǎn)的輸入，如果x> 0，則定義為f(x) = 1，否則為0。

綜上所述，如果w*x -b > 0，則C處的值為1，否則為0。我們究竟為什么要那樣做?如果w*x < b，那么C點(diǎn)的值將等于0，換句話說，偏置b是一個(gè)閾值，我們需要通過它使C點(diǎn)的值不為0。這與前面討論的神經(jīng)元的第三個(gè)特性完全相同！因此，我們把階躍函數(shù)稱為“激活函數(shù)”。

只有一個(gè)問題。階躍圖的垂直部分在x = 0時(shí)表示它不可微分。如果你不知道這意味著什么，不要擔(dān)心，你所需要知道的就是我們可以用s形函數(shù)來逼近階躍函數(shù)。

您可以將Sigmoid函數(shù)看作是所有可能輸入的“壓扁”，以適應(yīng)0到1之間的值。x越大(越小)，Sigmoid(x)越接近1(0)。

我們可以擴(kuò)展當(dāng)前的模型，讓許多神經(jīng)元輸入信息，每個(gè)神經(jīng)元都有自己的重量。注意，其中只有一個(gè)是偏置。同樣，輸入變成它之前的神經(jīng)元的加權(quán)和(每個(gè)節(jié)點(diǎn)的輸出與連接權(quán)重的乘積)。

既然這樣，為什么不給每一層增加幾個(gè)節(jié)點(diǎn)，增加幾個(gè)連接層呢?我們把第一層和最后一層之間的層稱為“隱藏層”。這里，每一層只有一個(gè)偏差。

我們通常先填充最左邊的神經(jīng)元層，然后通過計(jì)算下一層神經(jīng)元的值在網(wǎng)絡(luò)中“向前”移動(dòng)，以此類推，最后我們可以計(jì)算出輸出層神經(jīng)元的值。

正如我們之前所說，我們的網(wǎng)絡(luò)中有一些固定的特性和參數(shù)。一般結(jié)構(gòu)，即層數(shù)，每層節(jié)點(diǎn)數(shù)和激活函數(shù)是固定的。基于我們?nèi)绾卧诰W(wǎng)絡(luò)中前進(jìn)，每個(gè)神經(jīng)元的值是確定的，權(quán)重是固定的，因此我們唯一能改變的是我們的參數(shù)，神經(jīng)元之間連接的權(quán)重。

既然我們已經(jīng)了解了什么是網(wǎng)絡(luò)，讓我們來看看如何使用它來解決問題。

如何“學(xué)習(xí)”

我們來看看最著名的機(jī)器學(xué)習(xí)任務(wù)之一，識(shí)別手寫圖像。

學(xué)習(xí)的一般過程是這樣的:

1. 定義一個(gè)網(wǎng)絡(luò)
2. 將圖像傳入網(wǎng)絡(luò)(輸入)
3. 網(wǎng)絡(luò)將預(yù)測圖像的標(biāo)簽(輸出)
4. 使用預(yù)測，以“學(xué)習(xí)”的方式更新網(wǎng)絡(luò)
5. 回到第二步并重復(fù)

假設(shè)每個(gè)圖像都是28x28(784)像素，由于它們是灰度的，所以每個(gè)像素值的范圍從0(黑色)到1(白色)。為了訓(xùn)練網(wǎng)絡(luò)，我們需要以圖像及其相關(guān)標(biāo)簽的形式提供培訓(xùn)數(shù)據(jù)。

網(wǎng)絡(luò)的第一層將代表數(shù)據(jù)：它是我們將數(shù)據(jù)點(diǎn)(圖像)輸入網(wǎng)絡(luò)的方式。第一層有784個(gè)神經(jīng)元(加上一個(gè)偏差)，每個(gè)神經(jīng)元的值為訓(xùn)練圖像中一個(gè)像素的值。網(wǎng)絡(luò)的最后一層表示輸出：模型對圖像標(biāo)簽的預(yù)測。這一層將有10個(gè)神經(jīng)元，神經(jīng)元i的值越接近1，模型越認(rèn)為圖像的標(biāo)簽為i。

最初，我們將圖的權(quán)重設(shè)置為隨機(jī)值，這就是為什么最初的預(yù)測不是很好。選擇隱藏層的數(shù)量和每個(gè)層中神經(jīng)元的數(shù)量是一個(gè)很難解決的問題，我們將跳過這個(gè)問題。出于教學(xué)目的，我們假設(shè)有一個(gè)包含10個(gè)節(jié)點(diǎn)的隱藏層，并看一個(gè)示例。

在這個(gè)例子中，圖像的值被輸入到模型中，我們通過網(wǎng)絡(luò)向前移動(dòng)來計(jì)算輸出神經(jīng)元的值。模型認(rèn)為圖像是4，因?yàn)樵谧詈笠粚又械?個(gè)神經(jīng)元的輸出最接近1。

如前所述，我們的目標(biāo)是更新權(quán)重，以便更好地對數(shù)據(jù)進(jìn)行分類。為了做到這一點(diǎn)，我們首先需要定義一個(gè)損失函數(shù)，在做出預(yù)測之后，它給我們一個(gè)可量化的度量方法，來衡量模型的好壞。其中一個(gè)例子是平方誤差損失。我們從圖像的標(biāo)簽上知道它是5，所以我們理想的情況是輸出層的每個(gè)神經(jīng)元都是0，除了第5個(gè)神經(jīng)元應(yīng)該是1。下面是我們計(jì)算預(yù)測損失的方法:

如果模型能夠很好地正確預(yù)測標(biāo)簽，那么損失的總和將接近于0。

使用損失函數(shù)和一些應(yīng)用微積分，也就是我們將要跳過的“反向傳播”，我們可以合適的調(diào)整權(quán)重以找到最小的損失函數(shù)。換句話說，我們可以找出方向(或大或小)和每個(gè)權(quán)重的變化量，以便更好地預(yù)測這幅特定圖像。但我們不希望它只學(xué)會(huì)預(yù)測這幅圖像，我們希望它能夠預(yù)測數(shù)據(jù)集中的所有圖像，并能夠推廣到新圖像。所以我們只在反向傳播的方向上稍微更新權(quán)重。如果我們對許多不同的圖像多次重復(fù)這個(gè)過程，網(wǎng)絡(luò)將學(xué)習(xí)權(quán)重，可以很好地對手寫圖像進(jìn)行分類。

說了很多，讓我們總結(jié)一下：

• 網(wǎng)絡(luò)有節(jié)點(diǎn)，節(jié)點(diǎn)代表神經(jīng)元，邊緣代表連接權(quán)重。我們的目標(biāo)是調(diào)整權(quán)重，使流程能夠?qū)W會(huì)執(zhí)行任務(wù)。
• 我們使用輸入層將數(shù)據(jù)傳遞到網(wǎng)絡(luò)中，其中每個(gè)節(jié)點(diǎn)的值對應(yīng)于圖像中的一個(gè)像素。
• 我們通過圖表向前移動(dòng)，計(jì)算一個(gè)訓(xùn)練示例的預(yù)測輸出。網(wǎng)絡(luò)的預(yù)測最初會(huì)很糟糕，因?yàn)闄?quán)重是隨機(jī)設(shè)置的。
• 我們使用損失函數(shù)來計(jì)算它的錯(cuò)誤程度。
• 使用損失函數(shù)，我們執(zhí)行反向傳播來確定方向，并通過調(diào)整每個(gè)權(quán)重的大小來最小化該訓(xùn)練示例的損失函數(shù)。
• 我們對權(quán)重進(jìn)行少量的更新，并重復(fù)許多不同的訓(xùn)練示例。

結(jié)論

一旦你了解了神經(jīng)網(wǎng)絡(luò)是如何運(yùn)作的，你就會(huì)發(fā)現(xiàn)它們與其說是智能的，不如說是人工的。我希望通過這篇入門文章，讓您受到進(jìn)一步研究它們的啟發(fā)。為了簡單起見，我們跳過了許多重要的內(nèi)容，其中最主要的是反向傳播，盡管反向傳播是大多數(shù)神經(jīng)網(wǎng)絡(luò)的核心，但對于這樣一篇文章來說，它太“數(shù)學(xué)化”了。對于感興趣的人，我們需要用Sigmoid函數(shù)替換階躍函數(shù)因?yàn)榉聪騻鞑ヒ蕾囉谖⒎?，階躍函數(shù)沒有導(dǎo)數(shù)。我們所構(gòu)建的特定網(wǎng)絡(luò)被稱為前饋全連接網(wǎng)絡(luò)。實(shí)際上，卷積神經(jīng)網(wǎng)絡(luò)可以更好地識(shí)別手寫圖像。