雷鋒網(wǎng) AI 科技評(píng)論按：日前，一篇關(guān)于 BagNet 的 ICLR 論文引起了機(jī)器學(xué)習(xí) Twitter 社區(qū)的廣泛討論。針對(duì)這篇論文，谷歌大腦工程師 Eric Jang 發(fā)布了一篇博客進(jìn)行了解讀。雷鋒網(wǎng) AI 科技評(píng)論編譯如下。

聲明：我并非這篇論文在 ICLR 中的審稿人，但我認(rèn)為它非常值得被收錄，并希望它能通過研究社區(qū)進(jìn)一步推動(dòng)研究者對(duì)該領(lǐng)域的研究。大家如果在這篇博客中發(fā)現(xiàn)任何錯(cuò)誤或誤解，請(qǐng)隨時(shí)給我發(fā)送郵件進(jìn)行指正。

• 論文：Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet，Wieland Brendel, Matthias Bethge

• 下載地址：https:///forum?id=SkfMWhAqYQ

卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過學(xué)習(xí)卷積來匯集局部特征，并進(jìn)行空間上的池化來實(shí)現(xiàn)非深度學(xué)習(xí)圖像識(shí)別。這些「卷積層」的連續(xù)應(yīng)用能產(chǎn)生在廣泛空間內(nèi)聚合低級(jí)語(yǔ)義信息并擴(kuò)展形成更高級(jí)信息的「層次化的特征」。

至于算法的解，那些熱衷于深度學(xué)習(xí)的研究者相信，目前的卷積神經(jīng)網(wǎng)絡(luò)能聚合全局信息。不過也有另外一種觀點(diǎn)認(rèn)為，智能視覺理解要求「看到森林中的樹木」。

在這篇 BagNet 論文中，作者發(fā)現(xiàn)對(duì)于 ImageNet 分類任務(wù)，與深度 AlexNet 模型（準(zhǔn)確率為 84.7%）相比，BagNet 算法的表現(xiàn)出人意料地好：實(shí)現(xiàn)了 86% 的準(zhǔn)確率（Top-5 準(zhǔn)確率）。BagNet 的實(shí)現(xiàn)方法為：

• 將輸入圖像切分為 33×33 像素的圖像塊；

• 在每一個(gè)圖像塊上運(yùn)行一個(gè)深度網(wǎng)絡(luò)（1×1 卷積），從而獲得類別向量；

• 根據(jù)空間對(duì)輸出的類別向量進(jìn)行求和（在所有的圖像塊上）；

• 使用類別向量的最大值來預(yù)測(cè)類別。

深度 BagNet 的實(shí)現(xiàn)方法：A) 模型從小圖像塊中提取特征，其中每一個(gè)圖像塊都會(huì)喂養(yǎng)到一個(gè)線性分類器中，并為每個(gè)類別產(chǎn)生一個(gè)分對(duì)數(shù)熱力圖。之后求取特征空間內(nèi)這些熱力圖的均值，并傳送到 Softmax 函數(shù)得到最終的類別概率；B) ImageNet Top-5 準(zhǔn)確率隨圖像塊大小的變化而變化；C) VGG-16 分對(duì)數(shù)的相關(guān)性。

這一類比表明了，圖像分類并不一定需要非線性模型來將一群局部特征聚合到全局表征中，而只需要「確認(rèn)這是一群樹木從而推斷出這是一片森林」。

同時(shí)，該論文還有其他的一些實(shí)驗(yàn)結(jié)論：

• 相比于使用 17×17 像素的圖像塊（80%），BagNet 在使用 33×33 像素的圖像塊時(shí)表現(xiàn)要稍微好些。因此深度網(wǎng)絡(luò)確實(shí)能夠提取有用的空間信息（9x9 vs. 17x17 vs. 33x33），不過這可能并非是我們此前所預(yù)想的的全局空間范圍（例如 112×112 或 224×224）。

• BagNet 模型的空間分布特征在 bagging 步驟以外不會(huì)相互作用，這就帶來了一個(gè)問題：深度網(wǎng)絡(luò)大部分「能力」是否僅來自于對(duì)局部特征的檢查。深度網(wǎng)絡(luò)僅僅就是 BagNet 嗎？如果是的話，BagNet 還是比較令人擔(dān)憂的。

• VGG 的做法看起來非常接近 BagNet（雖然我有點(diǎn)質(zhì)疑作者實(shí)驗(yàn)中所用到的方法），而 DenseNet 和 ResNet 則似乎與 BagNet 的做法完全不同（作者在 rebuttal 中解釋道，該結(jié)果可能因?yàn)槟Ｐ驮诰植刻卣黜敳坎捎昧烁臃蔷€性的分類器或更大的局部特征大?。?。

想法&問題

不管你是否認(rèn)為 CNN 能夠/應(yīng)該將我們帶入通用人工智能時(shí)代，本論文都以一些清晰的證據(jù)表明了，我們僅通過檢查局部特征就可以構(gòu)建異常強(qiáng)大的圖像分類模型。一般而言，使用更具可解釋性的模型來解決應(yīng)用問題幫助會(huì)更大，我也很高興看到這類模型在某些問題上表現(xiàn)得這么好。

在原理上，BagNet 與比深度學(xué)習(xí)早出現(xiàn)很久的廣義加性模型（Generalized Additive Models）非常相似。GAM 的基本思想是，將非線性單變量特征（例如 f(xi)，其中每個(gè) xi 都為一個(gè)像素、 f 為一個(gè)神經(jīng)網(wǎng)絡(luò)）組合成一個(gè)簡(jiǎn)單的、可解釋的特征，從而查詢到每個(gè)變量所對(duì)應(yīng)的邊際預(yù)測(cè)分布。我尤其對(duì) Lou 等人在論文（論文閱讀地址：）中提出的想法感到興奮，他們提出將 GAM 松弛化以支持單變量特征提取器間的成對(duì)交互（2D 邊際依舊可被人類理解）。

作者沒有清晰地闡述這一點(diǎn)，不過快速瀏覽一遍論文后很容易得出這樣的結(jié)論：「DNN 糟糕透了，它們不過就是 BagNets 罷了」。然而實(shí)際情況并非如此（作者的實(shí)驗(yàn)也表明了這一點(diǎn)）。

舉一個(gè)反例：一個(gè)明顯的反例就是，局部修改（有時(shí)單個(gè)像素）可能改變?nèi)痔卣鞅碚?。因此很明顯地，測(cè)試輸入實(shí)際上是進(jìn)行了全局形狀集成的。而剩下的問題在于，全局形狀集成是否發(fā)生在我們認(rèn)為其應(yīng)該發(fā)生的地方以及發(fā)生在哪個(gè)任務(wù)中。作為一個(gè)對(duì) AGI 非常感興趣的人，我現(xiàn)在對(duì) ImageNet 的興趣度下降了不少，恰恰就是因?yàn)樗梢允褂脤?duì)圖像缺乏全局理解的模型來解決。

作者們自己也多次提到了這點(diǎn)：我們需要比要求全局形狀集成這類任務(wù)更加困難的任務(wù)。

在圖像生成建模（如 GAN）這一任務(wù)中，patch 特征間的線性交互明顯不足以對(duì)像素間的無(wú)條件聯(lián)合分布進(jìn)行建模。或者不妨考慮一下我最看好的強(qiáng)化學(xué)習(xí)任務(wù)——在自然環(huán)境中生存，這一任務(wù)中的智能體顯然需要進(jìn)行空間推理來解決追逐獵物或逃離捕食者等問題。設(shè)計(jì)一個(gè)人工生命體設(shè)置并看該生物體能否使用 bag-of-features 感知來真實(shí)地與使用非線性全局集成的生物體競(jìng)爭(zhēng)（對(duì)此，我持懷疑態(tài)度），是非常有趣的。

如果我們訓(xùn)練出一個(gè)能夠通過集成全局信息來提高性能（如分類任務(wù)），并最終僅在局部特征上過擬合的模型，那這將是一個(gè)非常有趣的結(jié)果——這意味著我們需要一個(gè)不允許模型以這種方式作弊的優(yōu)化目標(biāo)。對(duì)此，我認(rèn)為「在自然環(huán)境中生存」是一項(xiàng)非常合適的任務(wù)，盡管我希望還能夠找到另外一個(gè)對(duì)計(jì)算資源要求較低的任務(wù)。

最后是關(guān)于對(duì)可解釋性與因果推理的探討。在短期內(nèi)，我可以看到 BagNet 在自動(dòng)駕駛汽車領(lǐng)域所發(fā)揮的作用，該領(lǐng)域分別對(duì)于每個(gè)圖像塊的考慮可以實(shí)現(xiàn)計(jì)算的并行化，從而能夠更好地加速對(duì)大型圖像的處理。我們每一個(gè)人都希望自動(dòng)駕駛汽車上的機(jī)器學(xué)習(xí)模型能夠具有可解釋性，不是嗎？但是現(xiàn)在有一個(gè)心理學(xué)上的問題就是，人類更偏向于坐進(jìn)使用黑盒子 CNN（「準(zhǔn)確的、不可解釋的以及可能錯(cuò)誤的」）進(jìn)行駕駛操作的汽車，還是使用 Bag-of-Features（「準(zhǔn)確的、可解釋的以及肯定錯(cuò)誤的」）做決策的汽車。BagNet 的可解釋性似乎與要求通過實(shí)現(xiàn)更好的泛化性機(jī)器學(xué)習(xí)方法來進(jìn)行「因果推理」和「程序歸納」并不一致。我好奇社區(qū)中的成員認(rèn)為我們應(yīng)該怎樣調(diào)和這兩者間的差異。

為了實(shí)現(xiàn)更好的因果推斷，現(xiàn)在有一種更積極的方式來看待這些方法。在設(shè)計(jì)端到端系統(tǒng)（如機(jī)器人、自動(dòng)駕駛汽車）時(shí)，BagNet 這類方法可以作為其非常有用的健全檢查：如果比起僅檢查本地統(tǒng)計(jì)規(guī)律的方法（如 BagNet），你的深度網(wǎng)絡(luò)的表現(xiàn)并沒有好多少的話，就表明了你的模型依舊需要從更好的全局信息集成中獲益。研究者甚至可以考慮對(duì) BagNet 和 Advantage（DeepNet、BagNet）進(jìn)行聯(lián)合優(yōu)化，從而讓深度網(wǎng)絡(luò)明確地提取出比 BagNet 所提取的更好的信息。我也一直在思考如何更好地為機(jī)器人驗(yàn)證我們的機(jī)器學(xué)習(xí)系統(tǒng)，而構(gòu)建這種「零假設(shè)」模型則或許是核查機(jī)器沒有采用愚蠢的方式去學(xué)習(xí)的正確方法。