9篇論文、12個workshop、2個Tutorial，谷歌是 ACL 2017上亮眼的一顆星 | ACL 2017

 2017-08-02 09:19:00.0

雷鋒網AI科技評論按：計算機語言學和自然語言處理最頂尖的會議之一ACL 正在2017年7月30日至8月4日期間在加拿大溫哥華舉行。雷鋒網(公衆號：雷鋒網) AI科技評論將赴前線帶來一手報道，並對論文及大會概況進行梳理。

ACL 2017中，谷歌的參與力度極大

在剛剛結束的 CVPR 2017中，來自各大科技界公司的論文就數量衆多；ACL 2017 中業界公司們同樣是一股重要力量。谷歌就已經發文對自己參加 ACL 2017 的各方面情況做了介紹，雷鋒網 AI 科技評論編譯如下。

作爲自然語言處理和理解方面水平領先的研究團隊、以及 ACL 2017 的鉑金贊助商，谷歌會在這屆 ACL 上大展拳腳，研究範圍涵蓋句法、語義、論述、交談、多語言建模、情緒分析、問答、總結，以及構建一般意義上的監督和無監督系統、頂尖水平的建模以及根據非直接的監督學習。谷歌希望 ACL 2017 的參會者都可以到谷歌的展位前留步，看看他們的demo、見見他們的研究者，以及討論谷歌正在進行的項目和可能的研究機會，來爲地球上的幾十億人解決一些有價值的問題。

在此次 ACL 中，有兩位谷歌的研究員 Sujith Ravi 和 Thang Luong 分別擔任機器學習和機器翻譯兩個區域的區域主席；還有 Margaret Mitchell 擔任着公關主席。

研究成果和大會活動方面，谷歌此次公有9篇論文被 ACL 接受；另外還有12個Workshop和2個Tutorial，可謂是相當充實精彩。

9 篇 ACL 接受論文簡介

  • A Polynomial-Time Dynamic Programming Algorithm for Phrase-Based Decoding with a Fixed Distortion Limit

    • 一種用於基於短語的翻譯模型解碼的、帶有固定失真限制的多項式-動態時間編程算法

    • 論文簡介：基於短語的翻譯模型解碼一般情況下都被認爲是NP完全問題，可以看作是旅行商問題的簡化形式（Knight，1999）。在實際使用中，人們經常爲基於短語的翻譯系統增加一個硬性失真限制，限制翻譯過程中短語的移動。然而，增加的這種限制對複雜度的影響並沒有得到充分的研究。這篇論文中描述了一個爲基於短語的解碼器設計的、帶有固定失真限制的動態編程算法。這種算法的時間複雜度是O(nd!lh^{d+1})，其中 n 爲句子長度，d 爲失真限制，l 是從句子中任意位置算起的短語數目邊界，h 則與任意待翻譯的詞在目標語言中的翻譯種類的最大數目有關。這個算法使用了一種新的表徵，而這樣的表徵給人們如何理解基於短語的翻譯模型解碼帶來了新的視角。

    • 這篇論文有口頭報告環節

    • 論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1020 

  • Cross-Sentence N-ary Relation Extraction with Graph LSTMs 

    • 利用圖 LSTM 做跨句子的 n 元關係提取

    • 論文簡介：以往關係抽取方面的研究都關注的是單個句子中的二進制關係。近期的 NLP 研究開始進軍高價值的領域，激發了在更通用的設定下跨越多個句子提取 n 元關係的研究熱情。這篇論文中，作者們研究了一種基於圖 LSTM 的關係提取框架，它可以輕鬆地進行拓展用於多個句子間的 n 元關係提取。圖的格式提供了一種統一的方式用來探索不同的 LSTM 方案幷包含多種句內和句間的依賴性，比如序列、句法、論述關係。可以爲這些實體學習出一個魯棒的內容表徵，然後把它作爲關係分類器的輸入，這樣就可以方便地拓展爲任意數目的多元關係，從關聯關係中進行多任務學習也可以。論文中用精準醫療中的兩個重要領域對所提的框架進行了評估，展現出它在監督學習和弱監督的條件下都可以發揮作用。跨句子的關係抽取可以產生更多的知識，多任務學習也顯著提升了抽取的準確率。論文中還詳盡對比了不同的 LSTM 方法，對語言學分析會如何影響模型表現提出了有趣的見解。

    • 這篇論文有口頭報告環節

    • 論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1028 

  • Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision

    • 神經象徵機器：通過弱監督學習Freebase中的語義分析器

    • 論文簡介：利用神經網絡的統計能力做語言理解和象徵推理是很難的，這需要神經網絡在大規模知識數據庫中執行高效的集成操作。在這項研究中，作者們介紹了一種神經象徵機器（Neural Symbolic Machine，NSM），其中包含兩個部分：1，一個神經網絡「編程器」，也就是一個把語言映射到程序的串到串模型，其中還使用了一個可變值的內存來處理組合性；2，一個計算象徵的「計算機」，也就是一個 Lisp 解釋器，它可以執行程序，而且可以通過修剪搜索空間來幫助找到好程序。作者們把所構建的預測問題作爲一個任務，然後用強化學習的方法來直接優化任務反饋。爲了在弱監督的條件下訓練模型，並提升強化學習的穩定性，作者們使用了一個迭代的最大似然訓練過程對其進行了增強。NSM在 WebQuestionsSP 數據集上只用問-答對訓練就可以取得前所未見的表現，不需要另外獲取任何特徵工程或者特定領域的知識。

    • 論文地址：https://arxiv.org/abs/1611.00020 

  • Coarse-to-Fine Question Answering for Long Documents

    • 用於長文章的粗讀到精度問題回答

    • 論文簡介：論文中提出了一種用於回答問題的框架，它對於較長的文檔也可以保持現有模型性能的最佳水平，甚至有所提升。多數成功的閱讀理解方案都依靠的是循環神經網絡（RNNs），在長句子上運行這樣的網絡非常的慢，因爲很難並行處理多個句子。人類閱讀時可以在段落間快速跳轉、找到有關聯的部分、然後仔細閱讀這些部分形成答案，作者們就受此啓發把一個用於選擇有關的句子的粗大、快速的模型和從選擇到的句子中生成答案的高成本 RNN 組合在一起。這些選出的句子也就是從答案中合併訓練得到的潛變量，這個過程只用到了強化學習。實驗中這個模型在富有挑戰性的 WIKIREADING 數據集的子集和一個新數據集中都表現出了頂級的水平，同時模型的速度還提升了3.5倍到6.7倍。

    • 論文地址：https://homes.cs.washington.edu/~eunsol/papers/acl17eunsol.pdf 

  • Automatic Compositor Attribution in the First Folio of Shakespeare

    • 用於莎士比亞的 First Folio 的自動創作者歸因

    • 論文簡介：創作者歸因是一項依賴對頁面做拼寫變化分析和視覺細節檢查的書目研究，它能夠發現歷史印刷品中的一組頁面是出自誰的手中。這篇論文中介紹了一種新的無監督模型，它可以聯合描述所需的文本和視覺特徵用來區分創作者。把這種方法應用在莎士比亞的 First Folio 的圖像之後，該模型預測出的屬性結果和書目研究學者的人工判斷契合度達到了87%，即便是在ORC後的文本輸出結果上。

    • 論文地址：https://arxiv.org/abs/1704.07875 

  • A Nested Attention Neural Hybrid Model for Grammatical Error Correction

    • 用於語法錯誤更正的含有注意力的混合神經網絡模型

    • 論文簡介：語法錯誤更正系統努力完成兩類任務，一類是更正語序和用法方面的大範圍錯誤，另一類是糾正局部的拼寫和變形錯誤。通過在近期的神經機器翻譯方法基礎上進行進一步開發，論文中爲語法錯誤更正提出了一種新的用於帶有內含的注意力層的混合式神經網絡模型。實驗表明這種新模型通過單詞集成和字符級別信息的方法，對以上兩類錯誤都可以有效更正，在標準 CoNLL-14數據集上的 benchmark 結果也顯示出該模型的表現相比以往模型有着顯著提高。進一步的分析還表明，內含的注意力機制的使用對所提模型的性能提升起到了很大作用，可以證明它對於需要在拼寫上進行細微修改的局部錯誤更正中發揮的作用尤其好。

    • 論文地址：https://arxiv.org/abs/1707.02026 

  • Get To The Point: Summarization with Pointer-Generator Networks

    • 指向重點：用指針-生成器網絡進行文本總結

    • 論文簡介：串到串的神經網絡編碼模型爲文本的抽象總結提供了一種可行的新途徑（這意味着這些總結不再侷限於簡單地從原始文本中對段落做選擇和重新排序）。然而，這些模型都有兩個缺點：它們容易出現不準確的事實表達，而且容易用詞經常重複。在這篇論文中，作者們提出了一個新穎的架構，它可以用兩種正交的方式增強標準的串到串注意力模型。首先，論文中使用了一個混合「指針-生成器」網絡，它可以通過指針的方式從源文本中複製詞彙，這有助於提高重新生成的信息的準確率，同時還能靠生成器保留生成新詞的能力；其次，作者們使用了覆蓋率的指標來追蹤已經得到總結的內容，這可以抑制重複。把這種方法用於 CNN、Daily Mail 文章的總結任務中，表現可以領先當時最好的抽象方法 ROUGE 分數2分以上。

    • 論文地址：https://arxiv.org/abs/1704.04368 

  • Identifying 1950s American Jazz Composers: Fine-Grained IsA Extraction via Modifier Composition

    • 辨別1950年代的美國爵士作曲家：依靠修改器創作的細粒度 IsA 提取

    • 論文簡介：論文中介紹了一種生成帶有實例的細粒度分類名稱的方法。與當時最好的方法往往把類別標籤作爲單個詞法單元不同，論文中所提的方法考慮了每個標籤修改器與開頭之間的關係。把重新構建維基百科的分類頁面作爲評價方式，基準方案依靠的是得到了廣泛運用的 Hearst 模式法，有不錯的表現，新方法仍然在準確率方面取得了10以上的提升。

    • 論文地址：https://www.seas.upenn.edu/~epavlick/papers/finegrained-isa.pdf 

  • Learning to Skim Text

    • 學會跳過文本

    • 論文簡介：循環神經網絡（RNN）在自然語言處理的許多自領域中都體現出了不小的潛力，包括文檔分類、機器翻譯、自動回答問題等等。但是在這些潛力之外，許多 RNN 模型都需要逐字地讀完整段文字，這樣就讓它們處理長文檔的時候非常慢。舉例說明的話，讓 RNN 讀一本書然後回答關注書的問題就很難。在這篇論文中，作者們展示了一種在有必要的情況下邊閱讀文字邊跳過不重要的信息的做法。其中的模型是一個循環神經網絡，它能夠學會看到輸入文本的前幾個字之後就知道跳過多遠。作者們使用了一種標準的策略梯度方法來訓練模型做出離散的跳過決定。論文中在四個不同的任務中對模型進行了測試，包括數字預測、情緒識別、新聞文章分類以及自動問答，這個修改後帶有跳過功能的 LSTM 可以比標準的序列 LSTM 快達6倍，同時還能保留同等的甚至略微提升的準確率。

    • https://arxiv.org/abs/1704.06877 

谷歌的研究人員還參與了12個workshop

谷歌還組織了兩個 Tutorial

ACL 2017現在正在熱烈進行中，以上的研究內容中有感興趣的可以根據網址進行參與。

雷鋒網 AI 科技評論會繼續在 ACL 2017和近期的多個學術會議中帶來各方面的報道，請感興趣的讀者繼續關注我們。

相關文章：

ACL 正會在即，哪兩位重量級嘉賓將出席做主題演講？| ACL 2017

現場：ACL 2017 Day 0, 計算機語言學思想碰撞的浪潮開啓 | ACL 2017

ACL開幕式最全解讀：大會的三個「最」和三個「第一次」都是什麼？主席們分享了哪些肺腑之言？｜ACL 2017

文章來源：雷鋒網