【編者按】被認(rèn)為學(xué)習(xí)速度快、泛化性能好的Extreme Learning Machine（ELM，極限學(xué)習(xí)機(jī)），在國內(nèi)頗有市場(chǎng)，但大神Yann LeCun近日質(zhì)疑ELM存在命名、方法論等方面存在很多問題，不如采用SVM或者RBF，隨即有人反駁稱ELM理論上與一般的前饋神經(jīng)網(wǎng)不分伯仲，ELM的發(fā)明者則認(rèn)為，ELM和深度學(xué)習(xí)是相輔相成的，有些應(yīng)用將兩者結(jié)合收到很好的結(jié)果，并且ELM可以填補(bǔ)CNN的理論空白?，F(xiàn)在雙方觀點(diǎn)整理如下，供讀者參考。

南洋理工大學(xué)黃廣斌副教授（@黃廣斌-ELM）在2004年提出的Extreme Learning Machine（ELM，極限學(xué)習(xí)機(jī)），是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFN）學(xué)習(xí)算法。這種算法只需要設(shè)置網(wǎng)絡(luò)的隱層節(jié)點(diǎn)個(gè)數(shù)，執(zhí)行過程中不需要調(diào)整網(wǎng)絡(luò)的輸入權(quán)值以及隱元的偏置，并且產(chǎn)生唯一的最優(yōu)解，因而學(xué)習(xí)速度快且泛化性能好。

然而，F(xiàn)acebook人工智能實(shí)驗(yàn)室負(fù)責(zé)人、紐約大學(xué)教授Yann LeCun近日在Facebook上對(duì)ELM提出了質(zhì)疑，認(rèn)為ELM存在命名、方法論等方面存在很多問題，有一定的優(yōu)點(diǎn)但不如首先采用SVM（支持向量機(jī)）或者RBF，也難以應(yīng)對(duì)ImageNet 或語音識(shí)別這樣的復(fù)雜任務(wù)。

Yann LeCun認(rèn)為：首先，ELM和早前出現(xiàn)的Gamba Perceptron、Rosenblatt perceptron看來有極深的淵源。其次，隨機(jī)連接第一層的方法幾乎是最傻的事情，基本上可謂否定近60年的努力的開倒車的行為（Perceptron已可解決線性不可分問題）。他表示，隨機(jī)初始化輸入權(quán)重和偏置，做好了也只能對(duì)簡單函數(shù)和小型標(biāo)記數(shù)據(jù)集有效，還不如采用SVM或者RBF。

First, the name: an ELM is *exactly* what Minsky & Papert call a Gamba Perceptron (a Perceptron whose first layer is a bunch of linear threshold units). The original 1958 Rosenblatt perceptron was an ELM in that the first layer was randomly connected.

Second, the method: connecting the first layer randomly is just about the stupidest thing you could do. People have spent the almost 60 years since the Perceptron to come up with better schemes to non-linearly expand the dimension of an input vector so as to make the data more separable (many of which are documented in the 1974 edition of Duda & Hart). 

Yann LeCun的觀點(diǎn)獲得了200多個(gè)贊和大量的回復(fù)。一些回復(fù)表示看好ELM的速度，然而Yann LeCun反駁：ELM的運(yùn)行必然慢于RBF網(wǎng)絡(luò)，后者第一層采用K均值或者GMM甚至神經(jīng)網(wǎng)絡(luò)來訓(xùn)練，所有的這些模型優(yōu)化了一層單元的數(shù)量和位置，從而可以消除一些數(shù)據(jù)量的影響。傳統(tǒng)的SVM用于大型數(shù)據(jù)集緩慢，人們都有很多建議方法繞過該問題。如果指的是訓(xùn)練速度，只要訓(xùn)練時(shí)間不是太離譜，則無人在意。

They have to be slower to run than an RBF net in which the first layer is trained with K-means or GMM, or even neural nets, since all of these models optimize the number and placement of layer-1 units, and can therefore get away with a small number of them. Regular SVMs get slow with very large datasets, but people have suggested ways to get around that. Perhaps they are talking about training speed, but no one is really interested in that, as long as the training time is not outrageous.

對(duì)于一封發(fā)給IEEE SMC的匿名郵件《The ELM Scandal》（其中列舉多項(xiàng)條款指責(zé)ELM涉嫌存在學(xué)術(shù)問題），Yann LeCun甚至稱，“ELM is officially a fraud”。

在國內(nèi)，微博網(wǎng)友@David_Wang2015發(fā)表博文《Extreme Learning Machine(ELM)的工程哲學(xué)》，贊同ELM的工程意義，作為對(duì)Yann LeCun的回應(yīng)。

@David_Wang2015認(rèn)為：目前的單隱層ELM在函數(shù)逼近論和統(tǒng)計(jì)學(xué)習(xí)理論意義下的收斂結(jié)果已經(jīng)有證明，理論上與一般的前饋神經(jīng)網(wǎng)不分伯仲。不過，前饋神經(jīng)網(wǎng)適合工程應(yīng)用的函數(shù)模型還得靠工程師的理解和洞察，ELM如果要在各種應(yīng)用中更上一層，合理的結(jié)構(gòu)設(shè)計(jì)和隱節(jié)點(diǎn)的生成方式的研究是必不可少的。

一些圈內(nèi)人士評(píng)論認(rèn)為，盡管ELM思想上工程上確有意義，但后文從哲學(xué)方法層面回應(yīng)，未能落到實(shí)處，仍然無法回答Yann LeCun的質(zhì)疑。

@David_Wang2015在此之后解釋：

這篇文章主要是介紹一下ELM的主要思想，說明ELM為什么在某些應(yīng)用中可以又快又work，解決一些關(guān)于ELM的疑惑。徹底回答LeCun的質(zhì)疑還得需要更深入的理論和工程的研究，在知名數(shù)據(jù)集和工程應(yīng)用上刷刷performance。

作為ELM的發(fā)明者，黃廣斌亦提出了自己的觀點(diǎn)：ELM和深度學(xué)習(xí)是相輔相成的，如可將CNN用于特征提取，ELM用于做分類器，此外ELM還可以填補(bǔ)CNN的理論空白。

ELM的發(fā)展也是從不信到懷疑，到似曾相識(shí)，到大徹大悟的過程。ELM和深度學(xué)習(xí)是相輔相成的，有些應(yīng)用將兩者結(jié)合收到很好的結(jié)果，比如將CNN用于特征提取，ELM用于做分類器。其實(shí)從長遠(yuǎn)角度看，更多的是ELM和Deep Learning的交融匯合（Convergence）。另一方面Convolution Neural Network （CNN）雖然有生物學(xué)上的相關(guān)意義，數(shù)學(xué)理論上的證明還不多，ELM理論正好填補(bǔ)這個(gè)空白，并且推向更廣泛的Local Receptive Fiekds概念。

黃廣斌表示，神經(jīng)網(wǎng)絡(luò)的發(fā)展是曲折前進(jìn)的歷史，如多層感知器(Perceptron)、Back-Propagation（BP）算法、SVM甚至深度學(xué)習(xí)，都曾經(jīng)歷了不被理解的過程——理解和認(rèn)識(shí)有時(shí)需要一個(gè)漫長的過程。

真理越辯越明。對(duì)于這個(gè)問題，您有更詳細(xì)的見解嗎？請(qǐng)?jiān)谠u(píng)論中留下您的觀點(diǎn)，也歡迎您給CSDN投稿分享和交流。投稿郵箱：zhoujd@csdn.net。

原文鏈接：

What's so great about "Extreme Learning Machines"?  via Yann LeCun

Extreme Learning Machine(ELM)的工程哲學(xué) via @David_Wang2015

ELM和深度學(xué)習(xí)（Extreme Learning Machines and Deep Learning) via 黃廣斌

（責(zé)編/周建?。?/p>