在 Deep Learning 大行其道熱度不減時(shí)，有機(jī)會(huì)接觸到了極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）。這個(gè)算法是新加坡南洋理工大學(xué)的黃廣斌教授提出來的，idea 始于 2003 年，2004 年正式發(fā)表文章。這種算法是針對(duì) SLFNs （即含單個(gè)隱藏層的前饋型神經(jīng)網(wǎng)絡(luò)）的監(jiān)督型學(xué)習(xí)算法，其主要思想是：輸入層與隱藏層之間的權(quán)值參數(shù)，以及隱藏層上的偏置向量參數(shù)是 once for all 的（不需要像其他基于梯度的學(xué)習(xí)算法一樣通過迭代反復(fù)調(diào)整刷新），求解很直接，只需求解一個(gè)最小范數(shù)最小二乘問題（最終化歸成求解一個(gè)矩陣的 Moore-Penrose 廣義逆問題）。因此，該算法具有訓(xùn)練參數(shù)少、速度非?？斓葍?yōu)點(diǎn)（總覺得 ELM 中的 Extreme 指的是 extreme fast，哈哈）。接下來的若干年，黃教授帶領(lǐng)的團(tuán)隊(duì)在此基礎(chǔ)上又做了更多的發(fā)展，例如，將 ELM 推廣到復(fù)數(shù)域，提出基于 ELM 的在線時(shí)序算法等等。
      本文主要對(duì)最基本的 ELM 算法做一個(gè)簡(jiǎn)要介紹。

作者: peghoty 

出處: http://blog.csdn.net/peghoty/article/details/9277721 

歡迎轉(zhuǎn)載/分享, 但請(qǐng)務(wù)必聲明文章出處.