2017年的10大AI頂會,風起雲涌的故事 | 年度盤點

 2017-12-31 12:00:00.0

原標題:2017年的10大AI頂會,風起雲涌的故事 | 機器之心年度盤點

在過去的一年中,從 AAAI 到 NIPS 很多學術頂會都在關注人工智能和機器學習,而它們的參會情況與論文提交情況很大程度上都體現了這個領域的活躍程度。在本文中,我們概覽了 2017 年人工智能頂會的參會情況、論文提交與接受情況、華人力量和獲獎論文情況,我們希望讀者能從這些觀察中獲得一些今年的趨勢與研究主題。

文本主要分爲兩部分,第一部分是 2017 年頂會的概覽,包括今年該領域 10 個頂會的論文提交與接受情況和它們的華人力量。第二部分重點關注這些頂會的獲獎論文情況,我們將這些獲獎論文主要分爲計算機視覺、自然語言處理、學習過程和數據問題等 6 大主題,並從這些主題簡要概述對應研究論文的觀點與發現。

頂會論文概覽

頂會論文的提交與接收

AAAI、CVPR、IJCAI、ICCV、NIPS 今年的投稿數量均超過 2000,接收的論文數量均超過 600。ICLR 2017 是舉辦以來的第五屆,去年的論文錄用率接近 30%,今年達到了 40%。KDD 論文錄用率 18.9%,是上圖十項會議中論文錄用率最低的會議。(數量統計誤差 ±5)

下面我們簡要介紹這些會議及其今年接收論文的情況。

1. 綜合性會議

  • ICML 是計算機科學領域的頂會之一。據統計,ICML 2017 共評審了 1676 篇論文,接收了 434 篇,錄取率爲 25.89%。

  • 本屆 NIPS 共收到 3240 篇論文投稿,創歷年新高,其中 678 篇被選爲大會論文,錄用率爲 20.9%。40 篇爲 oral 論文,112 篇爲 spotlight 論文。

  • AAAI 是人工智能領域一年一度的頂級盛會,圍繞人工智能的研究與發展,吸引了全球的人工智能精英。AAAI 2017 收到的投遞論文有 2571 篇,其中 639 篇論文被大會接收,錄用率不足 25%。

  • IJCAI(人工智能國際聯合大會)是人工智能領域的頂級綜合會議,被中國計算機學會推薦國際學術會議列表認定爲 A 類會議。今年 IJCAI 共收到 2540 篇論文投稿,最終錄用 660 篇,錄用率 26%。

2. 計算機視覺領域會議

  • 根據谷歌發佈的 2017 版學術指標,在計算機視覺與模式識別領域,CVPR 是影響力最大的論文發佈平臺。CVPR 全稱爲「IEEE Conference on Computer Vision and Pattern Recognition」(計算機視覺與模式識別會議),是近年來計算機視覺領域全球最影響力、內容最全面的頂級學術會議。今年的 CVPR 共收到有效提交論文 2680 篇,其中 2620 篇論文經過完整評議,最終總計 783 篇被正式錄取(佔總提交數的 29%)。被接收的論文中,71 篇將進行長口頭演講,144 篇進行短亮點演講。

  • 國際計算機視覺大會(ICCV)全稱是 IEEE International Conference on Computer Vision,由 IEEE 主辦,與計算機視覺模式識別會議(CVPR)和歐洲計算機視覺會議(ECCV)並稱計算機視覺方向的三大頂級會議。據統計,本屆 ICCV 共收到 2143 篇論文投稿,其中 621 篇被選爲大會論文,錄用比例 29%。其中有 45 篇口頭報告(Oral)和 56 篇亮點報告(Spotlight)。大會公開的信息顯示,本屆共有 3107 名參會者。

3. 自然語言處理領域會議

  • 國際計算語言學協會 (ACL,The Association for Computational Linguistics),是世界上影響力最大、最具活力的國際學術組織之一。今年 ACL 收到論文 1419 篇,接收 344 篇,錄用率 24%。

  • EMNLP 是自然語言處理領域的頂級會議。今年 EMNLP 共收到 1466 篇論文,錄用 323 篇論文,包括 216 篇長論文和 107 篇短論文,錄用率 22%。

4. 深度學習領域會議

ICLR 是深度學習領域的盛會,每年舉辦一次。2013 年,深度學習巨頭 Yoshua Bengio、Yann LeCun 主持舉辦了第一屆 ICLR 大會。經過幾年的發展,在深度學習火熱的今天,ICLR 已經成爲人工智能領域不可錯過的盛會之一。ICLR 會議涉及的相關主題有:

  • 無監督、半監督、監督式表徵學習

  • 進行規劃的表徵學習,強化學習

  • 度量學習和核學習

  • 稀疏編碼和維度擴展

  • 層級模型

  • 表徵學習的優化

  • 學習輸出或狀態的表徵

  • 實現問題、並行、軟件平臺、硬件

  • 在視覺、音頻、語音、自然語言處理、機器人、神經科學或任何其它領域的應用

ICLR 2017 收到了 507 篇論文,其中 196 篇論文被大會接收,錄用率 38.7%。今年的論文評審結果也已出爐,提交論文的數量爲 491 篇,而被接受的情況爲:15 篇 oral(3%),183 篇 poster(37.3%),錄用率爲 40%。

5. 數據挖掘領域會議

KDD 是國際數據挖掘領域的頂級會議。據統計,KDD 2017 共收到 1144 篇論文投遞,收錄 216 篇,錄用率 18.9%。

頂會中的華人力量

在計算機視覺領域的頂會中,到處都能見到華人的身影,很多參會的學者都會驚喜地發現 CVPR 接收論文名單有非常多的華人署名。而 ICCV 2017 同樣將最佳論文和最佳學生論文都授予了何凱明等人。如下是計算機視覺獲獎論文的華人作者情況(不完全統計):

  • CVPR 2017 最佳論文《Densely Connected Convolutional Networks》的兩位共同一作 Gao Huang(黃高)、Zhuang Liu(劉壯)均爲華人。黃高是清華大學博士、康奈爾大學博士後;劉壯也來自清華大學。另一篇最佳論文《Learning from Simulated and Unsupervised Images through Adversarial Training》的作者之一 Wenda Wang 畢業於卡內基梅隆大學,現任蘋果公司機器學習工程師。

  • ICCV 2017 Facebook AI 研究員何愷明獲得最佳論文獎,同時是最佳學生論文的作者之一。最佳學生論文《Focal Loss for Dense Object Detection》的一作林宗毅(Tsung-Yi Lin)畢業於國立臺灣大學,後在康奈爾大學完成博士學位。此外,賈揚清領銜的 Caffe 團隊獲得 Everingham 團隊獎。

在自然語言處理領域中,最大的亮點可能是 ACL 2017 有 5 篇國內論文入選傑出論文,分別來自北京大學、復旦大學、清華大學和中科院自動化所。以下是詳細情況(不完全統計):

ACL 2017 最佳演示論文《Hafez: an interactive poetry generation system》共同一作 Xing Shi(史興)本科畢業於清華大學,現於南加州大學讀博。以下五篇 ACL 2017 傑出論文皆來自國內:

  • Adversarial Multi-Criteria Learning for Chinese Word Segmentation。作者:陳新馳、施展、邱錫鵬、黃萱菁(復旦大學)

  • Visualizing and Understanding Neural Machine Translation。作者:丁延卓、劉洋、欒煥博、孫茂松(清華大學)

  • Abstractive Document Summarization with a Graph-Based Attentional Neural Model。作者: Jiwei Tan、萬小軍(北京大學)

  • Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme。作者:鄭孫聰、Feng Wang、Hongyun Bao(中科院自動化研究所)

  • A Two-stage Parsing Method for Text-level Discourse Analysis。論文作者:王義中、李素建、Houfeng Wang(北京大學)

EMNLP 2017 最佳長論文《Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints》作者 Jieyu Zhao、Tianlu Wang、Mark Yatskar、Vicente Ordonez 和 Kai-Wei Chang,其中來自弗吉尼亞大學的趙潔玉、王天露、張凱崴均爲華人。一作趙潔玉 UCLA 二年級在讀博士生,師從 Kai-Wei Chang(張凱崴)教授。主要研究領域爲自然語言處理與機器學習。此前,在北京航空航天大學獲得計算機本科及碩士學位,並在弗吉尼亞大學完成博士一年級的學習,現就讀於 UCLA 計算機專業。

在綜合性頂會和深度學習頂會中,也常有華人的論文獲獎。其中值得注意的是 ICLR 2017 關於重新思考泛化的最佳論文,該論文非常有影響力,且一作也是華人。

  • IJCAI 2017 最佳學生論文獎《Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering》是優必選悉尼 AI 研究院創作的論文,一作王超嶽,悉尼科技大學 FEIT 三年級博士生,優必選悉尼 AI 研究院訪問學生,導師陶大程教授。陶大程是優必選 AI 首席科學家,他領導的優必選悉尼 AI 研究院有 13 篇論文被接收,除這篇外,論文《General Heterogeneous Transfer Distance Metric Learning via Knowledge Fragments Transfer》進入最佳傑出論文獎前三名。

  • ICML 2017 最佳論文《Understanding Black-box Predictions via Influence Functions》作者之一 Percy Liang 是著名華人學者、斯坦福大學副教授。

  • ICLR 2017 一共有 3 篇最佳論文,其中論文《Understanding deep learning requires rethinking generalization》的一作是畢業於浙江大學、現於 MIT 讀博的 Chiyuan Zhang。論文《Making Neural Programming Architectures Generalize via Recursion》的作者 Dawn Song(宋曉東)本科畢業於清華大學,現任職於加州大學伯克利分校。

獲獎論文分析

我們統計了 2017 年人工智能頂會的獲獎論文數,並在簡要地篩選後,統計了這些獲獎論文的關注領域與關鍵詞等比較有意思的信息。如下展示了大會獲獎論文的分佈情況,2017 年獲獎論文不精確統計大約有 56 篇,其中包括了經典論文獎或其它年份發表的論文。

AAAI 2017 的獎項除了一篇最佳論文與一篇最佳學生論文外,還有另外 10 大獎項,包括經典論文獎、應用開發獎等 7 大獲獎論文。但我們只會分析兩篇最佳論文的主題與關鍵詞。今年 AAAI 其它獲獎論文的主題很有意思,例如經典論文主要開創了粒子濾波的應用,它爲機器人定位提供了有效和可擴展的方法,而應用獎論文更是關注在線人才招聘和物理材料的合成與表徵。除了論文獎項外,香港科技大學林方真教授因爲對知識表達、非單調邏輯和行爲理論等領域的重大貢獻而獲得 AAAI Fellow。

其它頂會的論文情況也和 AAAI 類似,我們將去除歷年的經典論文和其它年份的論文。例如在今年 ICML 的經典論文中,2007 年的研究者關注結合 UCT 在線知識與離線知識以構建強大的 9*9 圍棋系統,但近來深度強化學習和自我對抗策略等技術已經在圍棋遊戲中取得了很重要的成果,所以這一類的主題我們並不會深入探討。

值得注意的是,很多頂會的經典論文都出現了支持向量機相關的主題。例如 ICML 經典論文 Pegasos: Primal Estimated sub-GrAdient SOlver for SVM 提出了一個簡單有效的隨機子梯度下降算法,用於解決支持向量機(SVM)提出的優化問題。KDD 的經典論文 Training Linear SVMs in Linear Time 提出了一種訓練線性 SVM 的截平面算法,該算法經證明對於分類問題而言訓練時間只需 O(sn),有序迴歸問題的訓練時間爲 O(sn log(n)),其中 s 爲非零特徵數,n 爲訓練樣本數。而剛剛結束的 NIPS 也發佈了關於 SVM 的經典論文 Random Features for Large-Scale Kernel Machines 提出了一種把輸入數據映射到隨機的低維特徵空間中,然後再使用現有的快速線性化算法的方法。

此外,KDD 主要是數據挖掘領域與知識發現方面的頂會,所以雖然它與人工智能有很大的聯繫,但我們並沒有將其納入研究主題的統計。今年的 KDD 從主題上來看主要關注於時序數據與圖算法,且接受的應用類論文佔據了 40% 左右。該會議的最佳論文探討了如何學習更簡單的結構化表徵方法,它結合衆包與循環神經網絡從產品描述中抽取向量表徵,並且這些學到的向量能比傳統信息檢索方法更精確與快速地找到類比信息。除此之外,該會議的最佳應用論文關注於防禦安卓惡意軟件,它通過分析 API 之間的不同關係以創建更高層級的語義信息,因而檢測出惡意軟件的攻擊者。今年 KDD 大會確實有非常多的見解與創意,不過限於我們的主題與關注點,後文並沒有統計與分析 KDD 相關的信息。

因此,在今年頂會 56 篇獲獎論文中,我們以下討論了 32 篇獲獎論文的主題與關鍵詞等信息。

研究主題的分佈

我們首先根據這 32 篇獲獎論文分析了 AAAI、ICLR、ICCV 和 NIPS 等頂會(除去 KDD)的獲獎研究主題。其中我們將這些獲獎論文的主題分爲 6 種,它們之間可能會有交叉,例如可能有論文使用強化學習的方法研究自然語言處理相關的問題。值得注意的是,學習過程這一主題描述的是最優化方法、模型擬合或模型驗證等問題,數據問題描述的是新型數據集、數據隱私和數據偏見等相關的問題。以下展示了今年部分頂會獲獎論文的主題分佈:

在這些獲獎論文的主題中,討論地最多的是計算機視覺與自然語言處理。這兩個任務也是目前非常流行的研究領域,從 CVPR 和 ICCV 專注於計算機視覺領域,ACL 和 EMNLP 專注於自然語言處理領域就可見一斑。對於其它如 AAAI、ICML 和 IJCAI 等綜合性會議,它們關注地更多的是學習過程與數據問題。此外,強化學習和遷移學習等前沿話題在各大會議的獲獎論文中也常提到。

1.計算機視覺

對於計算機視覺領域來說,貢獻最大的當然是 CVPR 與 ICCV,其它如 IJCAI 等也有相關主題的獲獎論文。這些獲獎論文具體研究的方向主要有目標檢測、圖像標註、圖像生成、語義分割、卷積神經網絡架構等方面。今年唯一以研究卷積架構爲主題的獲獎論文是康奈爾與清華大學聯合完成的 Densely Connected Convolutional Networks,他們發現如果卷積神經網絡在接近輸入層和輸出層的層級中包含較短的連接,那麼 CNN 就能在訓練上顯著地變得更深、更精確和擁有更高的效率。據此,他們提出了密集卷積網絡(DenseNet),這種卷積神經網絡以前饋的方式將每一層與其他層相連接起來。這篇論文的評價非常高,很多研究者認爲 DenseNet 在 ResNet 基礎上提出了更優秀的密集型連接方式,這種連接不僅能使得特徵更加穩健,同時還能產生更快的收斂速度。雖然有學者指出 DenseNet 的內存佔用太大,訓練成本很高,但也有研究者測試表明在推斷時它所需要的內存要比 ResNet 少。以下展示了 DenseNet 的基本架構:

除了卷積架構外,語義分割或目標實例分割最有影響力之一的獲獎論文就是何凱明等研究者提出來的 Mask R-CNN,它是一種簡單、靈活和高效的通用目標分割框架。Mask R-CNN 是基於 Faster R-CNN 的擴展,它在用於邊界框識別的分支上添加了一個並行的分支用於預測目標的掩碼。因此這種方法不僅能夠有效地檢測圖像中的目標,同時還能爲每個實例生成一個高質量的分割掩碼。值得注意的是,何凱明是該最佳論文的第一作者,同時是今年最佳學生論文的作者之一,若加上 CVPR 2009、CVPR 2016 兩篇最佳論文,那麼他已有四篇獲計算機視覺頂會的最佳論文。

Mask R-CNN 框架

在計算機視覺研究主題中,今年獲獎論文討論得比較多的可能就是目標檢測。在 YOLO9000: Better, Faster, Stronger 論文中,作者提出了 YOLOv2 和 YOLO9000 檢測系統。YOLOv2 能大大改善 YOLO 模型,並且以非常高的 FPS 獲得更好的結果,而 YOLO9000 這一網絡結構可以實時地檢測超過 9000 種物體分類,這主要可以歸因於 WordTree 混合了目標檢測數據集與目標識別數據集,因此通過聯合訓練能實現非常好的效果。而在 Focal Loss for Dense Object Detection 論文中,研究者提出的全新 Focal Loss 方法,它集中於稀疏、困難樣本中的訓練,避免了訓練過程中可能出現的大量負面因素。他們表明使用 Focal Loss 進行訓練的 RetinaNet 可以在目標檢測任務上達到一步檢測器的速度,同時準確性高於業內最佳的兩步檢測器。

圖像生成其實也是今年獲獎論文比較關注的主題,例如蘋果公司的 Learning from Simulated and Unsupervised Images through Adversarial Training 提出了模擬加非監督學習方法在使用合成圖像方面展現出了顯著的提升效果。而另一篇 Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering 提出了一種條理化的標籤解糾纏的生成對抗網絡(TDGAN),該 TDGAN 通過指定多個場景屬性(如視角、照明和表現等)從單張圖片重新渲染出感興趣目標的新圖片。若給定一張輸入圖像,解糾纏網絡會抽取解開的、可解釋性的表徵,然後這些表徵再投入到生成網絡以生成圖片。

2.自然語言處理

自然語言處理是除計算機視覺外另一個非常受關注的研究領域,甚至今年以 NLP 爲主題的獲獎論文比計算機視覺還要多。基本上,ACL 和 EMNLP 是對這一領域貢獻非常大的頂會,今年該領域的獲獎論文關注的也非常廣,主要有機器翻譯、語音語域、分詞模型、語言的生成模型和其它一些 NLP 數據相關的問題。值得注意的是,自然語言處理領域和計算機視覺領域一樣有很多引人注目的應用,最突出的就是神經機器翻譯。雖然去年神經機器翻譯就已經有了很大的發展,但今年很多研究者真正從編碼器-解碼器架構、注意力機制、強化學習方法甚至是 LSTM 與 GRU 的結構來提升神經機器翻譯的性能。除此之外,自然語言處理其它很多方面都有非常大的進步,下面我們將簡介今年頂會有關自然語言處理的獲獎論文。

今年 NLP 獲獎論文有很多關注於偏語言學的問題,例如在論文 Probabilistic Typology: Deep Generative Models of Vowel Inventories 中,研究者介紹了一系列深度隨機點過程,並將他們與之前的計算性的、基於模擬的方法相對比。該論文提出了首個針對音韻類型學中基礎問題的概率性方法,它希望通過深度神經網絡的學習方法來對元音空間構建一個可訓練的概率型生成分佈,從而來研究語言類型學中的元音的分散性和聚焦性問題。此外,該論文的研究者在 ACL 大會演講結束時表明 NLP 工具應該是進行科學研究的手段,而不止是工程任務,這也正是該論文將深度學習與傳統 NLP 研究相結合的一次嘗試。除此之外,The Role of Prosody and Speech Register in Word Segmentation: A Computational Modelling Perspective 探討了在分詞任務中語音語域和韻律學的作用,他們發現語域之間的區別要小於以前的,並且韻律學邊界信息幫助成年人指向的語音要比嬰幼兒指向的語音更多一些。

今年以 NLP 爲主題的獲獎論文還有另一個非常有意思的話題,論文 Hafez: an Interactive Poetry Generation System 提出了一種自動詩歌生成系統,它將循環神經網絡(RNN)與一個有限態接收器(FSA)進行整合,因此可以在給定任意話題的情況下生成十四行詩。Hafez 還能讓用戶調整各種不同風格的配置,從而對已生成的詩歌進行修改和潤色。

NLP 獲獎論文除了以上研究型成果,還有一部分是因爲在數據上或工具上有重要成果而獲得了獎項。數據集、數據偏見或語料庫等問題將在後一部分詳細討論,因爲除了 NLP 中的數據問題,其它如圖像標註等問題在大會獲獎論文中也有討論。另一項哈佛大學 NLP 組開源的神經機器翻譯工具則體現了工程方向的研究成果。在論文 OpenNMT : Open-Source Toolkit for Neural Machine Translation 中,研究者介紹了一種用於神經機器翻譯的開源工具包。該工具包以效率、模塊化、可延展性作爲優先考慮因素,從而在模型架構、特徵表徵、開源形態中支持 NMT 研究,哈佛 NLP 組在官網上表示該系統已經達到生產可用的水平。

OpenNMT 可以像主要的翻譯服務提供商的已投入生產的系統那樣使用。該系統簡單易用,易於擴展,同時也能維持效率和當前最佳的翻譯準確度。其特性包括:

  • 簡單的通用型接口,僅需要源文件和目標文件;

  • 爲高性能 GPU 訓練進行了速度和內存優化;

  • 可以提升翻譯性能的最新研究的特性;

  • 有多個語言對的預訓練好的模型;

  • 允許其它序列生成任務的擴展,比如歸納總結和圖像到文本生成。

3.學習過程

在我們的分類中,學習過程其實是一個很廣的研究領域,它可以包括最優化方法、訓練過程或方法、最大似然估計或其它構建損失函數的方法以及泛化問題與黑箱問題等話題。當然,一般學習過程指的是訓練或最優化過程,但我們這裏不妨將這個概念推廣到一般機器學習模型所共有的問題,例如我們思考的黑箱問題、隨機擾動或新型驗證方法等適用於一般機器學習模型的研究主題。這一部分確實最近越來越受到研究者的關注,很多論文在討論是否有更優的梯度下降方法、更好的模型解釋或更美的參數估計方法,這一傾向也表現在今年頂會獲獎論文的研究主題中。我們一共將 7 篇獲獎論文歸到這一類中,它們討論了機器學習模型的各個方面,非常值得各位讀者詳細瞭解。

其實最近 ICLR 2018 評分排第二的論文就詳細研究了最優化方法,在 ON THE CONVERGENCE OF ADAM AND BEYOND 論文中,研究者發現 MSPROP、ADAM、ADADELTA 和 NADAM 等方法都是基於使用前面迭代所產生梯度平方的指數滑動平均值,它們在對該滑動平均值取平方根後用於縮放當前梯度以更新權重。該論文表示些算法因爲使用了指數滑動平均操作而有時並不能收斂到最優解(或非凸條件下的臨界點)。因此研究者提出了一種 ADAM 算法的新變體,它通過賦予這些算法對前面梯度的「長期記憶」能力而解決收斂問題。在 NIPS 2017 的最佳論文 Variance-based Regularization with Convex Objectives 中,研究者探討了一種風險最小化和隨機優化的方法,該方法可以爲方差提供一個凸屬性的替代項,並允許在逼近和估計誤差間實現近似最優與高效計算間的權衡。他們證明了該過程具有最優性保證(ertificates of optimality),並通過逼近和最優估計誤差間良好的權衡在更一般的設定下比經驗風險最小化方法有更快的收斂率。因此,前一篇論文表明瞭 Adam 等算法的侷限性而提出改進方法,後一篇論文直接提出一種能提升標準經驗風險最小化在許多分類問題測試上的性能的方法。

ADAM和AMSGRAD 在簡單一維合成案例中的性能對比

最優化方法是標準的學習過程,但泛化與黑箱等問題與學習過程也有很大的關係。例如如何在訓練過程中控制模型不產生過擬合,或理解模型的超參數與所學習到的參數等問題都是值得我們關注的話題。在 Understanding deep learning requires rethinking generalization 論文中,作者表明傳統的泛化思考是將小的泛化誤差歸結爲模型族的特性,或是與訓練過程中的正則化技術有關。但這些傳統的方法並不能解釋大型神經網絡在實踐中泛化良好的原因,因此作者通過理論構建與實證研究表明只要參數的數量超過了數據點的數量,那麼簡單的 2 層深度的神經網絡就已經有完美的有限樣本表達能力。同樣在 Understanding Black-box Predictions via Influence Functions 論文中,研究者使用了穩健性統計的經典技術影響函數,它可以通過學習算法追蹤模型的預測並返回訓練數據,因此我們能確定最影響給定預測的訓練數據點。他們表示即使在理論失效的非凸和不可微模型下,影響函數的近似依然能提供有價值的信息來理解黑箱模型的預測結果。

4.數據問題

今年各大學術會議確實非常關注數據相關的問題,例如數據偏見、數據隱私和大數據集等。這一類主題大致可以分爲兩部分,即新型數據集、語料庫、知識庫,或者是數據本身存在的特性與問題。其實今年已經提出了好幾個數據集,我們可能比較熟悉旨在替代 MNIST 的 fashion-MNIST 數據集,還有 Facebook 構建的用於星際爭霸人工智能研究的新一代數據集 STARDATA,這些強大的數據集都推動了深度學習與機器學習向前發展。此外,蘋果和微軟等大公司對數據隱私問題做出了進一步的思考。例如微軟今年推出了 PrivTree,它利用差分隱私算法保護位置隱私,而蘋果的差分隱私算法從數學角度嚴格定義了隱私,他們的想法即仔細校準的噪聲可以隱藏用戶數據。今年 IJCAI 和 EMNLP 等頂會也都有以數據爲主題的獲獎論文。

對於獲獎數據集與知識庫等內容,在 A Corpus of Natural Language for Visual Reasoning 論文中,研究者提出了一種新的視覺推理語言數據集,包含對合成圖像進行自然描述(3962 條語句)的 92244 對樣本。該數據集證明,大多語言學現象都需要視覺和集合論(set-theoretic)推理,因此它在未來的研究當中將是極具競爭力的。YAGO 知識庫的擴展 YAGO2 中,研究者表明它從維基百科、GeoNames 和 WordNet 中自動構建而成,涵蓋了 980 萬實體的 4.47 億事實。人類評估已經確認其中 95% 的事實屬實。

Alane Suhr 等人提出的視覺推理語言數據集。

對於數據偏見與數據隱私,Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints 論文研究了與多標籤目標分類和視覺語義角色標註相關聯的數據和模型。他們發現這些任務的數據集包含嚴重的性別偏見,且在這些數據集上訓練的模型放大了這些偏見。例如,在訓練集中,做飯涉及到女性的概率要比男性高 33%,而訓練後的模型在測試集上將這一概率放大到了 68%。因此研究者建議可以注入用於校準現有結構化預測模型的語料庫級約束,並基於拉格朗日鬆弛設計一種算法以進行羣體推斷。此外,谷歌大腦等研究員在論文 Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data 表示模型中可能會無意中隱含一些訓練數據,因此通過仔細分析就能揭露一些敏感性信息。爲了解決這個問題,研究者提出了教師集成的私有聚合(PATE),該方法通過黑箱的方式組合多個由互斥數據集訓練的模型。因爲這些模型都依賴於敏感性數據,所以它們並不會公開,但是它們還是可以作爲「學生」模型的「教師」。因此,即使攻擊者可以訪問學生與檢查內部運行工作,但他並不能直接訪問到單一教師的基礎參數或數據。

5.其它問題

其實今年的學術會議的獲獎論文還有很多關注於強化學習與應用方面。在強化學習方面,The Option-Critic Architecture 論文表明時間抽象(temporal abstraction)是強化學習中對學習和規劃進行擴展的關鍵,他們爲 option 推導出策略梯度定理,並提出了一種新型 option-critic 架構,它能同時學習內部策略和 option 終止條件而不需要提供任何額外的獎勵或子目標。而在應用方面,Making Neural Programming Architectures Generalize via Recursion 提出了使用一種使用遞歸來增強神經架構的方法,他們在一個神經編程器-解釋器框架中實現了這種遞歸,且該框架可用於四種任務:小學加法、冒泡排序、拓撲排序和快速排序。該論文的研究者最後表明我們有必要結合使用遞歸這樣的概念,來使神經架構能穩健地學習程序語義。

結語

今年的機器學習領域,尤其是深度學習方法非常引人注目,這一點從頂會的提交論文與參會人數就能體現出來。例如在 NIPS 2017 的第一天,長灘會展中心門口的註冊排隊長龍「長到可以讓你看幾篇論文」。所有這些知名的頂會都表明着這個時代剛剛好,很多想法、很多可能都能通過研究與探討得到實現。最後祝各位讀者在新的一年裏都能實現各自的想法,爲蓬勃的人工智能領域與機器學習社區留下一些印記。我們在 2018 也將繼續並深入地觀察學術會議,我們將展現這個蓬勃領域最可愛的一面。


    文章來源:機器之心