全世界的機器學習和人工智能專家們下週就要聚集在加州長灘，在NIPS2017上介紹自己在人工智能和計算神經科學方面的最新研究成果了。對 Facebook 來說，他們這次有10篇論文經過評審後被NIPS收錄，他們的研究人員和工程師們也會在一週的多個 workshop、研討會、tutorial 中大力參加討論以及展示自己的成果。
並且，此次 NIPS 期間，Facebook 將首次在 Facebook LIVE 上直播大會內容，許多大會 session 都會播出。直播地址在 這裏，到時無法親自到場的讀者可以在北京時間12月5日星期二早上7點半（太平洋時間12月4日星期一下午5點半）開始收看直播，到時可以看到的是大會開幕儀式後的特邀演講，由 Google的 Principal Scientist John Platt帶來的「Powering the next 100 years」，講述 Google 如何使用機器學習來解決未來的能源問題。
NIPS 2017 中的 Facebook 論文
「Best of Both Worlds: Transferring Knowledge from Discriminative Learning to a Generative Visual Dialog Model」
雙料冠軍：從對抗性學習轉移知識到生成式視覺對話模型
主要內容：視覺對話這種任務，需要 AI 和人類展開關於視覺內容的有意義的談話，AI 的語言也需要是自然流暢的、能夠跟人類對答的。比如假想有位盲人用戶正在使用社交媒體，然後他的朋友上傳了一張照片。如果 AI 能夠爲他描述圖中的內容就再好不過了，比如 AI 說「約翰剛剛上傳了一張照片，他在夏威夷度假呢」。用戶就可能接着問：「不錯啊，他在沙灘上嗎？」我們也希望 AI 可以自然地應答，並且能夠準確地提供「不，他在山上」這樣的答案。或者是當你和 AI 助理對話的時候，你可能會說「你能在嬰兒房的監控裏看到我家小孩嗎？」AI 說：「能看到」。你接着問：「他在睡覺還是在玩」，我們也希望得到一個準確的答案。又或者人類和機器人組隊，共同完成搜救任務，機器人走到危險區域後，人類問：「你身邊有沒有哪個房間在冒煙？」機器人回答：「有，有一個房間」，然後人類說：「那就走進去找找有沒有人」。
論文中，Facebook 的研究人員們提出了一種新的訓練框架，它可以用於訓練神經網絡序列生成模型，尤其適合用於基於事實的對話生成。這類模型的標準訓練範式是最大似然估計（MLE）或者最小化人類迴應的交叉熵。然而多個不同領域的研究中都發現，用 MLE 方法訓練出的神經網絡對話生成模型（G）會經常出現喜歡回答「安全的」、通用化的語句的問題（比如「我不知道」，「我說不上」）。相比之下，對抗性對話模型（D）經過訓練後可以列出一系列候選的人類回答，在自動度量、豐富性、信息量方面帶來比生成式模型更好的表現。然而，D 這樣的模型在實際應用中效果不好，因爲無法讓它和人類之間進行真正的對話。Facebook 的這項研究希望在這兩個方面都達到最佳的表現，要像 G 一樣能起到實際的幫助，也要像 D 一樣在幾個方面有優秀的表現。他們的方法就是把 D 中的知識遷移到 G 中。
論文的主要貢獻是提出了一個端到端可訓練的生成式視覺對話模型，其中，G 接收來自 D 的梯度，作爲G生成的序列樣本的感知損失（不是對抗性損失）。作者們在這個離散分佈中應用了近期提出的Gumbel-Softmax（GS）近似；具體來說這是帶有一個 GS 採樣器序列的增強後的 RNN 網絡，並且配合一個直通的梯度估計器，這樣就可以提供端到端訓練需要的可微性。作者們同時還提出了一個強大的視頻對話編碼器，還加入了用於編碼回答語句的自我注意力機制，和一個度量學習損失，都幫助 D 更好地在問題的回答中抓到語義上的相似性。整體來說，作者們提出的模型在 VisDial 數據集上以2.67%（recall @10）的顯著優勢超越了此前的最好成果。項目代碼地址爲 https://github.com/jiasenlu/visDial.pytorch
（注：在之前一篇文章中，Facebook 也更細緻地介紹過自己在視覺對話方面的研究成果，詳情請看 能看圖回答問題的AI離我們還有多遠？）
ELF: An Extensive, Lightweight and Flexible Research Platform for Real-time Strategy Games
ELF：一個用於即時戰略遊戲的可拓展、輕量、靈活的研究平臺
ELF是一個可拓展、輕量化設計、高靈活性的強化學習研究平臺，它可以提供並行化的遊戲環境模擬。在ELF的基礎上，作者們實現了一個高度定製化的即時戰略遊戲（RTS）引擎，並且包含了數個遊戲環境。其中一個遊戲 Mini-RTS 是一個微縮版本的星際爭霸，其中包含了遊戲中的關鍵變化點，而且在筆記本上就可以達到165K幀/秒的運行速度，要比其它的平臺快一個數量級。在實驗部分，作者們只用了一塊 GPU 和數個 CPU ，就端到端地訓練了一個玩 Mini-RTS 的 AI，它能以超過70%的勝率擊敗基於規則的系統。
（按：這篇論文的詳細解讀見 詳解Facebook田淵棟NIPS2017論文：讓大家都能做得起深度強化學習研究的ELF平臺）
Fader Networks: Manipulating Images by Sliding Attributes
Fader網絡：調節屬性，操控圖像
論文簡介：這篇論文中作者們提出了一種新的編碼解碼器架構，經過訓練以後，可以利用對抗性訓練直接隱含空間內對圖像間主要信息和特殊屬性值進行解耦，從而完成圖像的重構。這個解耦過程使得我們可以控制其中的屬性，進而生成面部照片的多種變化結果，比如假想一個人年輕時候和年老時候的樣子，同時還能保持足夠的自然度。目前的頂級方法多數都依靠訓練一個像素空間的對抗性網絡，並在訓練時選取不同的屬性值。與這些方法相比，論文中所提的方法用到的訓練方法要簡單得多，而且拓展到同時改變多個屬性值的時候也有不錯的表現。
Gradient Episodic Memory for Continual Learning
用於連續學習的梯度片段記憶
論文簡介：機器學習在有一件事上一直做得不好，那就是學習新問題的時候如何不忘記之前完成過的任務。在這篇論文中，作者們提出了一種新的學習度量，用於評估模型如何在一系列學習任務中遷移知識。最終，作者們提出了一個新的頂級表現的算法，GEM，梯度片段記憶，它使得學習機器在學習新任務的時候也可以不忘記以往學到的技能。
Houdini: Fooling Deep Structured Prediction Models
Houdini：如何騙過深度神經網絡的預測模型
論文簡介：在嘗試評估、提升學習機器的健壯性時，生成對抗性樣本是非常重要的一步。目前爲止，多數的方法都只在分類任務中起作用，並且無法用來衡量真實遇到的問題中的模型表現。這篇論文中作者們提出了一種新穎靈活的方法，稱作 Houdini，它專門爲剛纔提到的情境生成對抗性樣本作爲模型最終表現的評估手段，不管是還是。作者們成功地把 Houdini 用於了多種不同的應用場景中，包括語音識別、位姿估計和語義分割。在所有這些場景中，基於 Houdini 的攻擊都比用於訓練模型的傳統代理方法取得了更高的成功率，同時 Houdini 中用到的對抗性擾動也要更容易理解。
One-Sided Unsupervised Domain Mapping
單向無監督主題映射
論文簡介：2017年的重大發現之一就是對於兩個不同的視覺主題，不給定任何匹配的訓練樣本也可以學到它們之間的模擬。比如，給定一個手提包的照片，這些方法就可以找到匹配的鞋子，即便它們從來沒有見到過這樣的搭配。近期的方法都需要學習從一個主題到另一個主題的映射，然後再學習反向的映射。在這篇論文中，作者們提出的方法無需完成這樣的整個過程，所以效率就高得多。同時，這種方法得到的映射還要明顯更準確。
On the Optimization Landscape of Tensor Decompositions
張量分解的優化狀況的討論
這篇論文中，作者們分析了隨機超完備張量分解問題的優化狀況。這類問題在無監督學習中有許多應用，尤其是在學習隱含變量模型時。實際應用中，在非凸目標下可以高效地用梯度上升方法解決這種問題。作者們的理論結果表明，對於任意的小常數 ϵ>0，在函數值 (1+ϵ)-因子 大於函數自身期望的一系列點中，所有的局部最大值都趨近於全局最大值。
Poincaré Embeddings for Learning Hierarchical Representations
用於學習層次化表徵的 Poincaré 嵌入
在文字和計算圖這樣的符號化數據的建模過程中，表徵學習這種方法的價值已經變得無比重要。符號化數據通常顯示出帶有隱含的層次化結構的特點，比如，所有的海豚都是哺乳動物，所有哺乳動物都是動物，所有動物都是生命，等等。如果能夠捕捉到這種層次化的結構，人工智能的許多核心問題都可以因此獲益，比如對繼承的推理，或者建模複雜關係。這篇論文中，作者們提出了一種用於表徵學習的新方法，它可以同時提取層次化結構和相似性的信息。他們的做法是改變了背後的嵌入空間的幾何結構，並且提出了一種高效的算法來學習這些層次化嵌入。作者們的實驗表明，對於帶有隱含層次的數據，他們提出的模型在表徵容量和泛化能力方面都要顯出高於標準方法。
Unbounded Cache Model for Online Language Modeling with Open Vocabulary
用於不限定詞彙的在線語言建模的無邊界緩存模型
如果模型的訓練數據和測試數據的分佈有所變化，現代的機器學習方法表現出的健壯性通常不好。舉例來說，這種問題就會出現在用 Wikipedia 訓練模型，然後用新聞數據測試模型的時候。在這篇論文中，作者們提出了一種大規模、非參數化的記憶組件，它的作用是幫助模型動態適配新的數據分佈。作者們把這種方法用在語言建模中，其中的訓練數據和測試數據來自兩個不同的主題（比如一個是 Wikipedia，一個是新聞）。
VAIN: Attentional Multi-agent Predictive Modeling
VAIN：基於注意力的多智能體預測建模
預測一個大規模社交系統或者物理系統的行爲，都需要對其中的不同個體之間的互動進行建模。近期的研究進展，比如神經網絡，已經通過對每次互動建模的方式大幅度提升了預測質量，然而這種方法同時也有着過於高的計算資源消耗。在這篇論文中，作者們把「計算昂貴」的互動建模模型換成了一個簡單的注意力機制模型，它有着類似的準確度，但計算成本要低得多。這種計算方法的時間複雜度線性增加的特質，也使得它可以用在規模大得多的多智能體行爲精確預測模型中。
論文打包下載：https://pan.baidu.com/s/1eS3w9OY 密碼: kn7v
NIPS 2017上 Facebook的其它活動
Tutorial
Geometric Deep Learning on Graphs and Manifolds，圖和流形的幾何深度學習。Yann LeCun在場；當地時間12月4日星期一，下午2：30~4：45，Hall A。
Workshop & 研討會 （有 Facebook 成員組織或參加的）
Black in AI Workshop，AI 領域中的黑人 Workshop
Deep Learning at Supercomputer Scale Workshop，超級計算機規模的深度學習 Workshop。12月9日星期六早8點到下午5點，Facebook 研究院、DeepMind、Salesforce 研究院、OpenAI、谷歌研究院、百度研究院等多個機構的研究人員將進行演講
Deep Reinforcement Learning Symposium，深度強化學習研討會。12月7日星期四下午2點到9點（5點到7點 Poster+零食時間），DeepMind 的 David Silver 將進行開場演講介紹 AlphaGo 中的深度強化學習，蘋果 AI 總監 Ruslan Salakhutdinov 也有演講，主題爲「神經地圖：爲深度強化學習構建記憶」
Emergent Communication Workshop，新興語言和溝通 Workshop
Interpretable Machine Learning Symposium，可解釋的機器學習研討會。12月7日星期四，下午2點到9點半（6點到7點 Poster+晚餐時間），地點 Hall C，Yann LeCun 會參加8點半開始的最後一項圓桌討論
Learning Disentangled Representations: from Perception to Control Workshop，學習解耦的表徵：從感知到控制 Workshop。12月9日星期六早8：30到晚6：00，計劃邀請 Yoshua Bengio 在下午3：30演講。
Learning in the Presence of Strategic Behavior Workshop，學習策略性行爲的出現 Workshop
Machine Learning on the Phone and other Consumer Devices Workshop，手機以及其它消費級設備上的機器學習 Workshop。12月9日星期六早8點到下午6：30，地點 102 A+B。
Machine Learning Systems Workshop，機器學習系統 Workshop。12月8日星期五早8：45到下午18：15，其中賈揚清會介紹Caffe2，Jeff Dean 在下午2：50演講介紹機器學習系統，也有關於ONNX和PyTorch的演講。
Optimization for Machine Learning Workshop，機器學習優化 Workshop
Women in Machine Learning (WiML) workshop，機器學習界的女性 (WiML) workshop
Workshop on Automated Knowledge Base Construction (AKBC)，自動知識基礎構建 Workshop
Workshop on Conversational AI : Today's Practice and Tomorrow's Potential，對話 AI Workshop：今日的實踐激發明日的潛力
Workshop on Visually-Grounded Interaction and Language (ViGIL)，基於視覺內容的交互和語言 (ViGIL) Workshop
Facebook 在 NIPS 2017中的論文和相關活動就介紹到這裏。Facebook 的10篇論文打包下載地址爲：https://pan.baidu.com/s/1eS3w9OY 密碼: kn7v。我們會繼續跟進 NIPS 2017進行全方位報道，請繼續關注哦。
相關文章：
能看圖回答問題的AI離我們還有多遠？Facebook向視覺對話進發
詳解Facebook田淵棟NIPS2017論文：讓大家都能做得起深度強化學習研究的ELF平臺