作者：微軟亞洲研究院實習生-林添

　　冰雪王國的浪漫，機器學習的盛宴

　　NIPS（Advances in Neural Information Processing Systems，神經(jīng)信息處理系統(tǒng)進展大會）是每年 12 月由 NIPS 基金會主辦的機器學習和神經(jīng)計算領域的頂級會議，它由連接學派（connectionist）神經(jīng)網(wǎng)絡的學者于 1987 年在加拿大創(chuàng)辦，后來隨著影響力逐步擴大，也曾移師美洲、歐洲等地舉辦。每年大會都吸引了機器學習、人工智能、統(tǒng)計等領域的眾多國際專家地參與。近年來，在工業(yè)界和科學界，神經(jīng)網(wǎng)絡構建的深度學習方法取得了很多突破性的進展，在計算機視覺、語音識別、自然語言處理等領域也出現(xiàn)了大量的創(chuàng)新應用，NIPS 在機器學習領域的學術影響力變得舉足輕重。

　　本次 NIPS 大會在加拿大魁北克省的蒙特利爾舉行。蒙特利爾位于五大湖和圣勞倫斯河河口，是加拿大僅次于多倫多的第二大城市，同時也是加拿大的經(jīng)濟之都，擁有發(fā)達的金融、電影、設計、航空產(chǎn)業(yè)。加拿大是是冰雪的王國，得益于此，蒙特利爾最受歡迎的運動便是冰球。這里還有很多繁華的地下城，即便是外面大雪紛飛，里面依然燈火通明。蒙特利爾更有眾多歐洲與北美風格融合的建筑，吸引了眾多好萊塢大片來這里取景。下圖便是蒙特利爾神圣、典雅的圣母院大教堂，加拿大著名歌手席琳·迪翁的婚禮就是在此舉行。 

　　2015 年的 NIPS 大會于 12 月 7 日至 12 月 12 日在蒙特利爾的國會會展中心舉行。大會獲得了包括微軟在內(nèi)的多家知名 IT 企業(yè)的大力贊助。今年共有 3755 名來自世界各地的研究人員注冊并參加了會議，相比去年參會人數(shù)幾乎翻倍。此次大會覆蓋的內(nèi)容除了機器學習和神經(jīng)科學領域，還包括認知科學、心理學、計算機視覺、統(tǒng)計語言學和信息論等多個領域。

　　大會日程包括教程（tutorials）、大會會議（conference sessions)、專題座談會（symposia）和研討會（workshops）四個部分。本次大會一共收到 1838 篇投稿，錄用論文 403 篇，錄取率為 21.9%，論文淘汰的數(shù)量十分龐大。在這四百多篇論文中，論文方向極其多樣化，其中占比最大為深度學習相關論文，占 403 篇錄取論文中的 11%，其次凸優(yōu)化方向占了5%、統(tǒng)計學習理論占了3%。此次大會的論文展示環(huán)節(jié)主要包括口頭報告（oral）、聚光燈（spot light）和海報（poster）三種展示形式。NIPS 是計算機領域少數(shù)堅持單軌制（single track）的會議，這一制度這能讓參會人員更加專注于會議報告本身，但也使得錄取論文的展示時間相對有限。因此，僅有 15 篇論文獲得了寶貴的 20 分鐘口頭報告的機會。同時，少量論文獲得了 5 分鐘時間的聚光燈展示，而剩余絕大部分的論文展示都是海報為主。

　　智慧激蕩的論文，引人深思的討論

　　本次會議由大會主席 Terrence Sejnowski 致開幕詞，常任主席 Corinna Cortes 和 Neil Lawrence 介紹了本次會議的投稿、審議標準和論文錄用等情況，這也揭開了 NIPS2015 的帷幕。本次大會的最佳論文獎頒給了“Competitive Distribution Estimation: Why is Good-Turing Good”（http://papers./paper/5762-competitive-distribution-estimation-why-is-good-turing-good.pdf）和“FastConvergence of Regularized Learning in Games”（http://papers./paper/5763-fast-convergence-of-regularized-learning-in-games.pdf）兩篇論文。

　　“Competitive Distribution Estimation: Why is Good-TuringGood”這篇論文屬于統(tǒng)計學習的理論研究范疇，它對估計離散變量的分布律這一普遍問題，提出了基于 Good-Turing 估計量的兩種改進方法，借助對先驗的最優(yōu)估計量，給出了針對任意分布律的近似最優(yōu)的高效估計。論文不僅指出這兩種方法可以快速收斂，同時還給出相應的理論分析。

　　“Fast Convergence of Regularized Learning in Games”這篇論文屬于博弈學習研究方向。博弈學習被廣泛研究，而該文章中指出一類正則化的學習算法可以大大改進帶問題本身有近期偏差（更傾向于近期的回報）的結果，它甚至可以被拓展到多玩家博弈的均衡問題。論文擴展了之前工作研究的二人零和博弈問題，指出在一類問題中如果每個玩家各自使用最優(yōu)算法將達到更快收斂速度，大大拓展了原有理論對博弈的理解。

　　除了獲獎論文，大會上還有很多令人印象深刻的報告?！癐nteractive Control of Diverse Complex Characters With Neural Networks”（http://papers./paper/5764-interactive-control-of-diverse-complex-characters-with-neural-networks.pdf）文章則研究了如何借助遞歸神經(jīng)網(wǎng)絡作為運動控制器的問題。在不進行運動捕捉以及任務相關的特征設計的前提下，實現(xiàn)了讓不同形態(tài)和動力系統(tǒng)機器人做出像游泳，飛行，雙足、四足行走等運動。

　　“Sampling from Probabilistic Submodular Models”（http://papers./paper/5744-sampling-from-probabilistic-submodular-models.pdf），這篇文章研究了一個有趣的采樣方法。次模函數(shù)是經(jīng)常出現(xiàn)在經(jīng)濟或計算機領域選址、覆蓋、圖像背景分割等問題中常見的函數(shù)，它描述了邊際效益遞減的一類特性。作者針對采樣概率是次模函數(shù)的函數(shù)值問題，提出了基于吉布斯采樣的方法，不僅保證多項式時間的復雜度，且具有很好的混合時間。

　　此外，在專題座談會上，眾多專家、學者們還在分會場中開展了有趣而深刻的對話和討論?！拔覀冎苓叺乃惴ǎ簷C器學習的社會影響力”專題中關于機器人倫理的話題就很有意思。例如自動駕駛技術上就有一個兩難問題（Tunnel Problem）亟待解決：設想你坐在一輛自動駕駛的汽車上，沿著山路的單行線行駛，此時突然有個小孩闖入道路，來不及剎車的情況下，就會面臨兩難選擇：是徑直向前，可能直接撞死小孩；還是撞向山崖，可能掉下懸崖？換句話說，自動駕駛的汽車應如何反應？又由誰來決定汽車的決策方式？這一類問題的核心其實是，對于機器學習算法中存在的決策失敗概率（風險），或者人類和機器的決策存在沖突時，我們該如何從法律、技術、道德等角度進行約束。

圖片來自互聯(lián)網(wǎng)

　　觸手可及的未來 博采眾長的前行

　　NIPS 大會在展示了相關領域最新研究成果的同時，也預示了機器學習的未來的發(fā)展趨勢。

　　首先是神經(jīng)網(wǎng)絡架構進一步復雜化。在圖像、機器翻譯等領域，越來越多的研究人員開始選擇 LSTM，利用不同的感知機、目標函數(shù)，卷積或者遞歸架構神經(jīng)網(wǎng)絡，在實際項目中實現(xiàn)更多有意思的應用。通過隨機方法近似(stochastic approximation)的算法也受到不少關注。

　　其次是自動推斷和黑盒學習技術的發(fā)展。今年大會上出現(xiàn)了不少和自動推理技術相關的論文，即通過機器自動推斷模型、預測結果。而工程領域的強勁需求也促生了更多可以快速迭代、低學習曲線的算法和系統(tǒng)，例如在本機大會上嶄露頭角的 STAN、python-autograd 等工具。

　　此外還有對概率推斷的再審視。本次大會和研討會中，出現(xiàn)了一些對于概率推斷新認知的聲音。正如同期發(fā)表在《科學》雜志上的論文（http://science./content/sci/350/6266/1332.full.pdf）所呈現(xiàn)的一樣，相比深度學習對于大數(shù)據(jù)的需求，這種小樣本甚至單個樣本的模型都能得到不錯的預測結果，也促使我們重新審視人類大腦的思維和認知方式。

　　對于我個人來說，這是我在 NIPS 上的第二篇論文。去年，我參與合作的以在線機器學習中組合問題的純探索策略研究方向的論文有幸在 NIPS 的進行了口頭報告。今年，在之前的基礎上，我們深入研究，論文“Stochastic Online Greedy Learning with Semi-bandit Feedbacks”（https://papers./paper/5930-stochastic-online-greedy-learning-with-semi-bandit-feedbacks.pdf）被大會錄用，并受邀于 9 號晚上 7 點至 12 點進行海報展示。這篇論文是與清華的李建老師以及微軟亞洲研究院的陳衛(wèi)老師合作，我們針對在線機器學習領域的組合學習策略研究，提出了一類新的模型，刻畫了貪心的學習方法在解決老虎機問題（bandit）中應用。我們提出的模型能夠借鑒貪心算法的優(yōu)點，多次采樣進行參數(shù)估計，求解該問題。

本文作者的論文海報

　　論文海報展示的過程也彌足珍貴，在國內(nèi)，我們精心制作了 2.4x1.2m 的大幅海報，并進行了多次的展示演練。在現(xiàn)場展示過程中，我們獲得了很多教授、研究員和同學的關注和駐足聆聽。通過講解自己的研究，回答聽眾們的問題，我將自己的成果分享給了在場的聽眾，同時，我也得到了很多同行們的建議與意見。通過與相關領域?qū)＜覍W者的深入交流，我也迸發(fā)出了更多的新想法，與會經(jīng)歷受益匪淺。

　　關于作者：林添，是微軟亞洲研究院的一名實習生，也是清華大學高等研究院和微軟亞洲研究院聯(lián)合培養(yǎng)博士生，本科畢業(yè)于清華大學計算機科學實驗班，主要研究方向為機器學習和社交網(wǎng)絡分析，曾在 ICML、NIPS、EC 等發(fā)表多篇論文。

　　了解微軟亞洲研究院實習生項目，歡迎關注“明日之星”實習生項目介紹。更多實習機會請見：http://www./zh-cn/jobs/interns/internopenings.aspx

　　下載微軟研究院在此次大會所有論文：Deep learning, machine learning advancements highlight Microsoft's research at NIPS 2015