NIPS 2017 | 線上分享第二期:利用價值網絡改進神經機器翻譯

 2017-11-13 12:11:00.0

原標題:NIPS 2017 | 線上分享第二期:利用價值網絡改進神經機器翻譯

上週我們發佈了《攻略 | 雖然票早已被搶光,你可以從機器之心關注 NIPS 2017》。在 NIPS 2017 正式開始前,我們將選出數篇優質論文,邀請論文作者來做線上分享,聊聊理論、技術和研究方法。

本週將進行線上分享的第二期,邀請到了中國科大—微軟聯合培養博士生夏應策講解一篇有關神經機器翻譯這一熱門研究課題的 NIPS 論文。

日期:北京時間 11 月 16 日 20:00 至 21:00。

分享者簡介夏應策,博士五年級,現就讀於中國科學技術大學-微軟亞洲研究院聯合培養博士班,研究方向爲機器學習(包括對偶學習、神經機器翻譯和多臂賭博機),是 2016 年微軟學者獎學金獲得者之一。

演講主題:利用價值網絡改進神經機器翻譯

論文摘要:神經機器翻譯(NMT)近幾年變得很流行。在解碼的時候,束搜索(beam search)能使得搜索空間縮小和計算複雜度降低,因而被廣泛採用。然而,由於其在解碼時只向前計算一步,所以只能在每個時間步搜索局部最優,而通常不能輸出全局最優的目標語句。受到 AlphaGo 的成功和方法論的啓發,在這篇論文中,我們提出了一種新方法,利用預測網絡提升束搜索準確率,即在第 t 步選取源語句 x、當前可用的解碼輸出 y_1,...,y_{t-1} 和一個候選詞 w 作爲輸入,並預測部分目標語句(假如它由 NMT 模型完成)的長期價值(例如,BLEU 分數)。根據強化學習的實踐經驗,我們將這個預測網絡稱爲價值網絡。具體來說,我們提出了價值網絡的循環結構,並使用雙語數據訓練其參數。在測試過程中,當需要解碼詞 w 的時候,需要同時考慮由 NMT 模型給定的條件概率和由價值網絡預測的長期價值。實驗證明,這種方法可以顯著提高多種翻譯任務的準確率。

參與方式

線上分享將在「NIPS 2017 機器之心官方學霸羣」中進行。加羣方式:備註暗號:147,由小助手拉大家入羣。

  • 第一期:視頻 | NIPS 2017線上分享第一期:新型強化學習算法ACKTR

「閱讀原文」,查看機器之心 NIPS 2017 專題策劃並參與其中。

責任編輯:

文章來源:機器之心