選自arXiv
作者：Toan Q Nguyen、David Chiang
參與：李亞洲、路雪
在本論文中，作者結合遷移學習與 BPE 方法，使用低資源的相關語言的平行數據改進同樣低資源語言的神經機器翻譯結果。
論文：Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation
鏈接： https://arxiv.org/abs/1708.09803
摘要：我們提出了一種簡單的方法，對一種低資源的語言對的神經機器翻譯結果，使用同樣低資源的相關語言的平行數據幫助改進。這種方法主要基於 Zoph 等人提出的遷移方法，但他們的方法忽略了源詞彙重複，我們的方法對此進行了開拓。首先，我們使用 BPE（字節對編碼）的方式分離單詞來增加單詞重複。然後，在第一種語言對上訓練模型，將其參數（包括源詞嵌入）遷移到另一個模型，再在第二種語言對上繼續訓練。我們的實驗證明，雖然 BPE 方法和遷移學習單獨用的時候表現不一致，但一起用時能提高 1.8 個 BLEU 值。
表 1：土耳其語與烏茲別克語中擁有同樣詞根的單詞示例
表 2：訓練數據中的 token 與句子的數量
圖 1：不同設置下的 Tokenized dev BLEU 得分。注意：baseline = 只訓練子模型；transfer = 先訓練父模型，再訓練子模型；+freeze = 在子模型中 freeze 目標詞嵌入
表 4：在父模型中出現的源詞嵌入佔子模型源詞嵌入的比例