之前連載的負(fù)荷預(yù)測，都是使用傳統(tǒng)機器學(xué)習(xí)的方法，這一期我們將使用工業(yè)領(lǐng)域中大放異彩的循環(huán)神經(jīng)網(wǎng)絡(luò)：長短期記憶網(wǎng)絡(luò)（LSTM）。

LSTM是一種時間遞歸神經(jīng)網(wǎng)絡(luò)，適用于處理和預(yù)測時間序列，基于LSTM的系統(tǒng)可以進(jìn)行機器翻譯，語音識別，文本識別，詩歌合成，自動駕駛等任務(wù)。電量的負(fù)荷值也是一個時間序列，使用LSTM的預(yù)測效果如何？今天小編帶大家來看一下。

LSTM模型介紹

相對RNN，LSTM的結(jié)構(gòu)更復(fù)雜。如圖一所示：LSTM由三個門組成：遺忘門，輸入門和輸出門。遺忘門決定有多少信息被忘記，輸入門決定保留哪些信息，輸出門輸出結(jié)果。LSTM就是在RNN的基礎(chǔ)上，增加了對過去狀態(tài)的過濾，從而可以選擇哪些狀態(tài)對當(dāng)前更有影響，而不是簡單的選擇最近的狀態(tài)。

在訓(xùn)練的過程中，RNN的訓(xùn)練特別困難，因為RNN梯度被表示為連成積的形式，導(dǎo)致梯度消失。而LSTM則很好的解決了這個問題：如圖二公式展示的那樣，最終的細(xì)胞狀態(tài)是由遺忘門和輸入門的計算結(jié)果求和得到的，這樣的梯度表示為累加的形式，避免了梯度消失。

圖一: RNN和LSTM結(jié)構(gòu)圖

圖二: 細(xì)胞狀態(tài)更新

除了上圖展示的LSTM以外，還出現(xiàn)了一些LSTM的變體。

如圖三所示：單向LSTM和反向的LSTM結(jié)合成雙向BiLSTM（雙向LSTM）。單向LSTM關(guān)注的是過去對未來的影響，而反向LSTM關(guān)注的是未來對過去的影響，兩個方向的網(wǎng)絡(luò)結(jié)合到一起就能關(guān)聯(lián)歷史與未來。

舉個例子：我明天去___一天。假如有2個選擇項：喝水，上班。如果是單向的LSTM，只考慮前面的詞，兩個選項都滿足條件，但是從后面的詞看，"喝水一天"顯然不合常規(guī)，而反向的LSTM就可以考慮后面語句對前面選項的影響。

圖三: BiLSTM結(jié)構(gòu)圖

LSTM 是我們在 RNN 中獲得的重要成功。很自然地，我們也會考慮：哪里會有更加重大的突破呢？——那就是注意力模型。注意力模型借鑒了人類的注意力機制，人的大腦在掃描全局圖像時，獲得需要關(guān)注的目標(biāo)區(qū)域，然后把焦點投入到目標(biāo)區(qū)域，以獲取更多的目標(biāo)區(qū)域的信息，同時抑制其他目標(biāo)區(qū)域的信息。

如圖四所示：在LSTM的輸入層前加入AM（注意力模型），對歷史的輸入序列進(jìn)行篩選，計算所有歷史輸入序列的權(quán)重， 權(quán)重高的信息會被關(guān)注，權(quán)重低的信息會被抑制，然后將歷史輸入序列的加權(quán)結(jié)果輸入到LSTM模型中。

圖四: LSTM with AM

梯度消失和梯度爆炸

梯度消失和梯度爆炸是神經(jīng)網(wǎng)絡(luò)模型的通病。LSTM模型本身克服了梯度消失的問題，對于梯度爆炸，有以下兩種做法：

在損失函數(shù)中加入正則項：把模型參數(shù)的范數(shù)作為損失函數(shù)的一部分，會使梯度更新時減小模型參數(shù)的大小，有效避免參數(shù)過大。

正則項實現(xiàn)方式：

梯度裁剪：梯度更新過程中，把梯度的大小限制在一個范圍內(nèi)，當(dāng)梯度超出限制時，將梯度更新為范圍內(nèi)的最大值或最小值。

梯度裁剪實現(xiàn)方式：

過擬合和欠擬合

對于任何神經(jīng)網(wǎng)絡(luò)模型，都需要避免過擬合和欠擬合。從模型本身的結(jié)構(gòu)考慮，可以通過增加正則項和dropout避免過擬合。

dropout實現(xiàn)方式：

除此之外，對訓(xùn)練過程的控制也會對過擬合和欠擬合產(chǎn)生影響?？梢酝ㄟ^對學(xué)習(xí)率的調(diào)整和設(shè)置恰當(dāng)?shù)挠?xùn)練結(jié)束時機來控制訓(xùn)練過程。

如圖五所示：當(dāng)學(xué)習(xí)率過高時，損失值快速變小，然后很快停止變小，甚至變大；當(dāng)學(xué)習(xí)率過低，損失值緩慢減小，訓(xùn)練的非常慢；而好的學(xué)習(xí)率會使損失值先快速減小然后緩慢減小。根據(jù)訓(xùn)練過程損失值的變化規(guī)律，可以先設(shè)置一個較大的學(xué)習(xí)率，讓損失值快速減小，然后隨著epoch增大，不斷減小學(xué)習(xí)率的大小，使損失值不斷收斂到最小值。

圖五: 學(xué)習(xí)率對訓(xùn)練效果的影響

學(xué)習(xí)率設(shè)置的實現(xiàn)方式

隨著epoch的增加，訓(xùn)練集的準(zhǔn)確率會不斷增加，測試集的準(zhǔn)確率先增加后減小，這時候模型會出現(xiàn)過擬合的情況。當(dāng)epoch=N的時候，模型已經(jīng)訓(xùn)練好了。所以可以設(shè)置一下，當(dāng)模型的測試集的準(zhǔn)確率不再連續(xù)增加或損失值不再連續(xù)減小時，停止訓(xùn)練，保存模型。

圖六: epoch對訓(xùn)練效果的影響

訓(xùn)練停止設(shè)置的實現(xiàn)方式

負(fù)荷預(yù)測結(jié)果分析

這一期我們選擇了化學(xué)制品行業(yè)，使用該行業(yè)下所有用戶2018年4月開始的電力負(fù)荷數(shù)據(jù)，對2019年1月10號到2019年1月17號連續(xù)8天的逐時負(fù)荷值進(jìn)行預(yù)測。

圖七是待測時間段的真實值負(fù)荷曲線，可以看到數(shù)據(jù)相對平穩(wěn)，但是沒有明顯的周期性規(guī)律，并且在某些時間點上負(fù)荷會出現(xiàn)驟降。

圖七: 待測時間段的真實值負(fù)荷曲線

為了對比神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)機器學(xué)習(xí)方式的優(yōu)劣，我們選擇了三個傳統(tǒng)的機器學(xué)習(xí)算法，作為神經(jīng)網(wǎng)絡(luò)的對比組。選取了十組與負(fù)荷相關(guān)性大的特征作為輸入，可以看到三組算法的平均準(zhǔn)確率相差不大，逐日的準(zhǔn)確率基本都在百分之九十以上，唯有17號的準(zhǔn)確率較低，因為這一天的真實負(fù)荷值相對歷史負(fù)荷值出現(xiàn)驟降。

圖八: 傳統(tǒng)機器學(xué)習(xí)預(yù)測曲線

圖九: 傳統(tǒng)機器學(xué)習(xí)準(zhǔn)確率

我們分別構(gòu)建LSTM，BiLSTM，AttLSTM三種模型進(jìn)行負(fù)荷預(yù)測，使用和上面的傳統(tǒng)機器學(xué)習(xí)算法相同的特征作為輸入?？梢钥吹剑N模型的平均預(yù)測準(zhǔn)確率也都達(dá)到百分之90以上。

其中，LSTM和BiLSTM的預(yù)測平均準(zhǔn)確率相差很少，而AttLSTM模型的準(zhǔn)確率會高一些。這說明對于該組數(shù)據(jù)，負(fù)荷值并不受未來的影響，而對于歷史數(shù)據(jù)的篩選有助于預(yù)測準(zhǔn)確率的提高。

圖十: 神經(jīng)網(wǎng)絡(luò)模型預(yù)測曲線

圖十一: 神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率

通過本次實驗，我們看到在NLP領(lǐng)域大放異彩的LSTM，相對傳統(tǒng)機器學(xué)習(xí)算法在時間序列的預(yù)測上并沒有很明顯的提高，但是對特征的挖掘能力，決不亞于傳統(tǒng)機器學(xué)習(xí)算法，所以在時間序列的預(yù)測上，也能夠獲得比較好的結(jié)果。

當(dāng)然，這是在該行業(yè)數(shù)據(jù)下的結(jié)果，后續(xù)我們會依托匯電的大數(shù)據(jù)平臺和自身豐富的算法庫對更多的行業(yè)做測試，敬請關(guān)注。

本文版權(quán)歸“匯電云聯(lián)”所有，轉(zhuǎn)載請聯(lián)系作者。