---

  新智元原創(chuàng)  

編輯：肖琴

【新智元導(dǎo)讀】ICML 2019的錄取結(jié)果昨天已經(jīng)出爐，許多投稿者在Twitter發(fā)表“中了”的消息，新智元摘選了幾篇不錯(cuò)的ICML中獎(jiǎng)?wù)撐?，包括Ian Goodfellow等人的論文，一起來(lái)先睹為快吧！

昨天，ICML 2019的論文入選結(jié)果已經(jīng)出爐，你的論文中了嗎？

來(lái)自Reddit的討論貼

盡管完整錄取列表尚未公開(kāi)，不過(guò)已經(jīng)有許多投稿者在Twitter發(fā)表“中了”的消息。

下面，新智元摘選了幾篇不錯(cuò)的ICML中獎(jiǎng)?wù)撐模黄饋?lái)先睹為快吧。

首先介紹來(lái)自加州大學(xué)圣地亞哥分校Yao Qin、Garrison Cottrell和前谷歌大腦Ian Goodfellow等人的論文，在這篇論文中，研究人員提出了語(yǔ)音識(shí)別的對(duì)抗樣本。

1、Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition

https:///abs/1903.10346 

作者：Yao Qin, Nicholas Carlini, Ian Goodfellow, Garrison Cottrell, Colin Raffel

對(duì)抗樣本(adversarial examples)是一種專門(mén)設(shè)計(jì)的輸入，其目的是使機(jī)器學(xué)習(xí)模型產(chǎn)生錯(cuò)誤的輸出。

對(duì)抗樣本在圖像領(lǐng)域已經(jīng)得到了廣泛的研究。在圖像領(lǐng)域中，可以通過(guò)對(duì)圖像進(jìn)行細(xì)微的修改來(lái)產(chǎn)生對(duì)抗樣本，從而導(dǎo)致分類錯(cuò)誤，這在物理世界中具有實(shí)用價(jià)值。

但是，目前應(yīng)用于語(yǔ)音識(shí)別系統(tǒng)的有針對(duì)性的對(duì)抗樣本卻缺乏這兩種特性：人類可以很容易地識(shí)別對(duì)抗性干擾，并在通過(guò)揚(yáng)聲器播放時(shí)它們并不生效。

本研究在這兩個(gè)方面都取得了進(jìn)展。首先，我們利用聽(tīng)覺(jué)掩碼(auditory masking)的心理聲學(xué)原理，在人類聽(tīng)不到的音頻區(qū)域添加對(duì)抗擾動(dòng)，開(kāi)發(fā)出有效的、不易察覺(jué)的音頻對(duì)抗樣本(通過(guò)人類研究得到驗(yàn)證)，同時(shí)對(duì)任意完整的句子保持100%的針對(duì)性成功率。

接下來(lái)，我們通過(guò)構(gòu)造在應(yīng)用于真實(shí)的模擬環(huán)境扭曲后仍然有效的擾動(dòng)，從而在物理世界的無(wú)線音頻對(duì)抗樣本方面取得了進(jìn)展。

2、TensorFuzz: Debugging Neural Networks with Coverage-Guided Fuzzing

https:///abs/1807.10875 

作者：Augustus Odena, Ian Goodfellow

眾所周知，由于各種原因，機(jī)器學(xué)習(xí)模型難以調(diào)試（debug）或解釋。這造成了最近機(jī)器學(xué)習(xí)的 “可重復(fù)性危機(jī)”（reproducibility crisis）—— 對(duì)難以調(diào)試的技術(shù)做出可靠的實(shí)驗(yàn)結(jié)論是很棘手的。

神經(jīng)網(wǎng)絡(luò)又特別難以 debug，因?yàn)榧词故窍鄬?duì)直接的關(guān)于神經(jīng)網(wǎng)絡(luò)的形式問(wèn)題，解決的計(jì)算成本也很高，而且神經(jīng)網(wǎng)絡(luò)的軟件實(shí)現(xiàn)可能與理論模型有很大的差異。

在這項(xiàng)工作中，我們利用傳統(tǒng)軟件工程中的一種技術(shù) —— 覆蓋引導(dǎo)模糊測(cè)試（coverage guided fuzzing，CGF），并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)的測(cè)試。

具體來(lái)說(shuō)，這項(xiàng)工作有以下貢獻(xiàn)：

• 我們對(duì)神經(jīng)網(wǎng)絡(luò)引入了 CGF 的概念，并描述了如何用快速近似最近鄰算法（ fast approximate nearest neighbors algorithms）以通用的方式檢查覆蓋率。

• 我們開(kāi)源了一個(gè)名為 TensorFuzz 的 CGF 軟件庫(kù)。

• 我們使用 TensorFuzz 在已訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中查找數(shù)值問(wèn)題，在神經(jīng)網(wǎng)絡(luò)及其量化版本之間查找分歧，以及在字符級(jí)語(yǔ)言模型中查找不良行為。

圖：fuzzing 主循環(huán)的簡(jiǎn)略描述。左：模糊測(cè)試程序圖，表示數(shù)據(jù)的 flow。右：用算法的形式描述了模糊測(cè)試過(guò)程的主循環(huán)。

相關(guān)閱讀:

谷歌大腦開(kāi)源 TensorFuzz，自動(dòng) Debug 神經(jīng)網(wǎng)絡(luò)！

接下來(lái)介紹的論文來(lái)自羅格斯大學(xué)Han Zhang和Dimitris Metaxas，以及谷歌大腦的 Ian Goodfellow 和 Augustus Odena，在這篇論文中，他們提出 “自注意力生成對(duì)抗網(wǎng)絡(luò)”（SAGAN），將自注意力機(jī)制（self-attention mechanism）引入到卷積 GAN 中，作為卷積的補(bǔ)充，取得了最優(yōu)的結(jié)果。

3、Self-Attention Generative Adversarial Networks

/abs/1805.08318 

作者：Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena

在這篇論文中，我們提出自注意力生成對(duì)抗網(wǎng)絡(luò)（ Self-Attention Generative Adversarial Network ，SAGAN）。SAGAN 允許對(duì)圖像生成任務(wù)進(jìn)行注意力驅(qū)動(dòng)、長(zhǎng)相關(guān)性的建模。傳統(tǒng)的卷積 GAN 生成的高分辨率細(xì)節(jié)僅作為在低分辨率特征圖上的空間局部點(diǎn)的函數(shù)。在 SAGAN 中，可以使用來(lái)自所有特征位置的線索來(lái)生成細(xì)節(jié)。此外，鑒別器可以檢查圖像的遠(yuǎn)端部分的高度詳細(xì)的特征彼此一致。此外，最近的研究表明，生成器條件會(huì)影響 GAN 的性能。

利用這些發(fā)現(xiàn)，我們將譜歸一化到 GAN 生成器中，并發(fā)現(xiàn)這改進(jìn)了訓(xùn)練動(dòng)態(tài)。我們提出的 SAGAN 達(dá)到了最優(yōu)的結(jié)果，將 Inception score 從當(dāng)前最高的 36.8 提高到 52.52，并且在具有挑戰(zhàn)性的 ImageNet 數(shù)據(jù)集上將 Frechet Inception distance 從 27.62 降低到 18.65。注意力層的可視化表明，生成器利用與對(duì)象形狀相對(duì)應(yīng)的鄰域，而不是固定形狀的局部區(qū)域。

接下來(lái)推薦的論文來(lái)自東京大學(xué)的Kenta Oono和Taiji Suzuki，這篇論文有41頁(yè)，對(duì)于會(huì)議論文來(lái)說(shuō)確實(shí)有點(diǎn)長(zhǎng)。

4、Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks

/abs/1903.10047 

作者：Kenta Oono, Taiji Suzuki

卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在多個(gè)函數(shù)類中均能達(dá)到最優(yōu)逼近和估計(jì)誤差率(在minimax意義上)。然而，由于包括Holder類在內(nèi)的重要函數(shù)類的稀疏約束，以往分析的最優(yōu)CNN的范圍過(guò)于廣泛，難以通過(guò)優(yōu)化獲得。

我們證明了一個(gè)ResNet類型的CNN可以在更合理的情況下在這些類別中獲得minimax最優(yōu)錯(cuò)誤率——它可以是密集的，它的寬度、通道大小和過(guò)濾器大小相對(duì)于樣本大小是恒定的。

其核心思想是，只要神經(jīng)網(wǎng)絡(luò)具有\(zhòng)textit{block-sparse}結(jié)構(gòu)，我們就可以通過(guò)定制的CNN來(lái)復(fù)制全連接神經(jīng)網(wǎng)絡(luò)(FNN)的學(xué)習(xí)能力。從某種意義上說(shuō)，我們的理論是通用的，我們可以自動(dòng)地將block-sparse FNN所實(shí)現(xiàn)的任何近似率轉(zhuǎn)換成CNN的近似率。作為應(yīng)用，我們使用相同策略推導(dǎo)出針對(duì)Barron類和H?lder類的CNN的近似誤差和估計(jì)誤差。

5、Imitation Learning from Imperfect Demonstration

https:///abs/1901.09387 

作者：Yueh-Hua Wu, Nontawat Charoenphakdee, Han Bao, Voot Tangkaratt, Masashi Sugiyama

模仿學(xué)習(xí)(Imitation learning, IL)的目的是通過(guò)演示學(xué)習(xí)最優(yōu)策略。然而，由于收集最優(yōu)示例的成本很高，因此此類演示通常并不完美。為了有效地從不完美的演示中學(xué)習(xí)，我們提出了一種新的方法，利用置信評(píng)分(confidence scores)來(lái)描述演示的質(zhì)量。更具體地說(shuō)，我們提出了兩種基于confidence的IL方法，即兩步的重要性加權(quán)IL (2IWIL)和具有不完美演示和置信度的生成對(duì)抗性IL (IC-GAIL)。我們證明了，僅給出一小部分次優(yōu)演示的置信度得分在理論上和經(jīng)驗(yàn)上都顯著提高了 IL 的性能。

更多ICML 2019錄取論文

1、Heterogeneous Model Reuse via Optimizing Multiparty Multiclass Margin

作者：吳西竹，周志華，柳松

2、Importance Sampling Policy Evaluation with an Estimated Behavior Policy

/abs/1806.01347 

作者：Josiah Hanna, Scott Niekum, Peter Stone

3、Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations

/abs/1904.06387 

作者：Daniel S. Brown, Wonjoon Goo, Prabhat Nagarajan, Scott Niekum

4、Global Convergence of Block Coordinate Descent in Deep Learning

/abs/1803.00225 

作者：Jinshan Zeng, Tim Tsz-Kit Lau, Shaobo Lin, Yuan Yao

5、Learn-to-Grow for addressing Catastrophic Forgetting in Continual Machine Learning

https:///abs/1904.00310