2017 年 11 月 25-26 日，中國中文信息學會 2017 學術年會暨理事會在深圳隆重舉行。會議第一天，主辦方邀請到美國伊利諾伊大學香檳分校（UIUC）計算機系教授翟成祥、中國科學院心理研究所所長傅小蘭、京東硅谷研究院主任研究員李維、清華大學醫學院生物醫學工程系宋森、今日頭條人工智能實驗室主任李航爲大家帶來了五場精彩紛呈的特邀報告。關於大會第一天的內容，之前有詳細報導，具體信息請參見橫跨心理學、計算機科學、神經科學，看中國中文信息學會 2017 學術年會如何引起多個領域大碰撞
在此次會議上，作爲最後一位特邀報告嘉賓，李航研究員帶來了主題爲《人工智能的未來—記憶、知識與語言》的分享，他此次的分享主要圍繞智能問答系統展開，爲大家分析了 NLP 所面臨的三大挑戰、目前值得借鑑的應對方法以及對智能問答系統的展望。關鍵詞如下：長期記憶、神經處理、符號處理。
以下爲他的演講內容
構建擁有長期記憶的智能問答系統，是我們現在的願景
今天非常高興來到這裏，與大家一起從記憶、知識和語言的角度探討自然語言處理、人工智能在未來發展的趨勢。首先我們來看記憶和智能的關係，分析自然語言處理的發展是否可以構建智能化的問答系統。
先來看看記憶對人的智能有多麼重要。這裏是一個示例，英國有一名叫 Clive Wearing 的音樂家，他現在七十多歲，他在四十多歲時患了腦炎，非常幸運的是他存活下來了，但不幸的是他大腦裏的海馬體受到了損傷，得病了之後不能再記新的東西。日常的症狀如下，他認識自己的太太，但不認識自己的女兒，雖然說話、行動、唱歌、彈鋼琴都沒問題，但他沒有記憶了，只有瞬間意識。大家有興趣的可以去網上搜關於他的視頻看一下。
他太太把他的病總結的非常清楚，能夠做簡單的思考，但沒有記憶。從這個案例中，可以看到記憶對人來說是非常重要的。這裏面涉及到一個重要的器官，即大腦中的海馬體。這裏有一張圖，是人體大腦的結構。
下面這幅圖是斯坦福的一個腦科學家 Frank Longo 畫的大腦的功能模型，他是從記憶的角度看的。大腦的記憶部分首先有感官，來感受到客觀的信息，這種感官寄存器能記住外界傳來的 1-5s 的信息，如果大腦感興趣，就會記住大概 18-30s 的內容，如果對這個內容特別感興趣，就能放到大腦的長期記憶裏。
長期記憶的特點是信息的壓縮。我們大腦在記憶的過程當中，記新的東西是把已有的鏈路增強，而不是增加新的腦細胞。
剛纔看的是人腦，現在看人工智能系統，比如 AlphaGo、自動駕駛等，其實這些系統都是沒有長期記憶的。這些系統裏都有一定的模型，通過機器學習的方法事先學好，比如 AlphaGo 在下棋的過程中，調用訓練好的模型。現在的人工智能系統，和我一開始提到的那個英國音樂家的案例很像，都屬於 moment to moment，沒有長期記憶。
日裔科學家 Michio Kaku 對意識的定義如下：系統和外界交互，如果系統的內部狀態發生變化，就認爲這個系統是有意識的。從他的觀點來看，溫度計和花都是有意識的。對意識的討論大家都有不同觀點，很難達到共識。從他的定義來說，人工智能系統是有簡單意識的，但沒有長期記憶。
往下走智能問答系統應該是什麼樣的呢？暢想 5-10 年後的未來，有可能構建這樣的智能系統，在這個系統中，有語言處理模塊，包括短期記憶、長期記憶，系統能自己不斷去讀取數據，能把數據裏面的知識做壓縮表示，放到長期記憶模塊。構建這樣的擁有長期記憶的智能問答系統，這是我們現在的願景。
在這一過程中，面臨着歧義性、多樣性、模糊性這三個問題
自然語言處理中有個非常重要的想法：把語言的表示映射到計算機內部的表示。有了這個表示，我們認爲計算機進行了語言的理解，在學習知識。
這裏面有好幾個挑戰。人類的語言到大腦的語義理解映射是多對多的，會遇到歧義性的問題，即同一個語言表達會有不同的意思。另外會遇到多樣性的問題，即不同的語言表達是同一個意思。最後一個問題是從認知的角度來看，語義是非常模糊的。
進一步來分析這三個挑戰，下圖中是用 claim 的幾個例子，可以擴展爲不同的意思。即具有多義性。
第二是多樣性，比如太陽和地球的距離，有很多種不同的說法。
最後是知識概念的模糊性，比如 bachelor 的概念，它表示單身男子，但是未婚的父親、假結婚的人等是不是可以定義爲單身，大家的觀點可能不一樣。這與語言的多樣性會有一定的關聯，我們會對典型的單身男子的概念有個共識。
從這裏可以看到自然語言並不好做，在自動問答系統中需要去做一個映射，映射裏會面臨前面提到的多義性、多樣性、知識的模糊性這三大挑戰。大家都在朝這樣的智能問答系統努力。
未來：神經系統和符號系統的結合
現在考慮的是神經系統和符號系統的結合。
深度學習非常熱，特別是在自然語言處理和機器翻譯方面給我們帶來了很大的進步。雖然它確實很強大，但侷限性也很明顯：它不能很好地處理符號。在計算機上做語言處理，離不開符號，符號很重要，是語言的本質特點。
在自然語言處理中，深度學習在人的感知領域，比如說圖像、語音方面比較成功，所以自然就會想到，能不能用神經符號的處理方法實現我們所說的智能問答系統。這樣的智能問答系統，通過把神經處理和符號處理相結合，加上語言處理模塊，沿用深度學習的概念，這裏麪包括編碼器、解碼器。在表示信息的時候，既有符號表示，又有神經表示，用詞向量去表示單詞。將符號表示和向量表示組合起來，產生一定的結構，更好地表示知識。
這樣的工作業界已經開始在做。比如 2015 年提出的 Nell（Never Ending Language Learning) 系統，這個工作強調讓系統看大量文本內容，自動學到知識。這個系統能自動在互聯網上爬取數據、處理數據、抽取知識，加入到數據庫。
另外一個比較具有代表性的工作是 Percy Liang 在 2016 的研究。首先要有語法，語法通常是人定義的，通過語法產生多個解釋；然後要有模型，模型也是事先學好的；再基於上下文選擇最有可能的解釋，轉換爲邏輯表達式。在這裏，我們的思考是，現在是否能借鑑深度學習的想法，做一個端到端的系統，完全自動學到語言處理的編碼器、解碼器等。
爲什麼很多人都關注長期記憶，因爲長期記憶確實是現在幾乎所有的人工智能系統所不具備的能力。現在也有這方面的研究，比較有名的就是 DeepMind 的 DNC（Differentiable Neural Computers）工作，這個工作也是在關注如何把知識用矩陣的形式存儲在長期記憶裏。這個系統裏提出了三類不同的神經網絡，這三種不同的神經網絡實際上模仿了老鼠的海馬體機理，目前對老鼠的海馬體機制已經研究得比較透徹。
大家也知道 Facebook 的 Memory Networks 系統，這個系統可以根據描述做些簡單的問答。系統最核心的概念也是長期記憶，想法相對來說是比較傳統的深度學習概念，模型的構建全是神經網絡在做。
最近的最接近的工作是谷歌 16 年出的 Neural Symbolic Machines 模型，這個想法非常有意思，要做的事情也是問答，訓練數據是大量的問句和命令，去學習 Sequence to Sequence 模型，可以執行復雜的計算機命令，找到答案。
華爲諾亞方舟實驗室在神經符號處理方面的相關工作
下面是我之前在華爲諾亞方舟實驗室做的兩個工作，都是神經符號處理方面的。
第一個是 GenQA。這個工作是這樣的，假設你有個知識圖譜，這裏面含有大量的問答句。我們希望模型能自動學習神經網絡，去做問答，生成答案。
這個工作是基於神經符號處理的思想，其中包括長、短期記憶模塊。假設來了一個問句，現在有編碼器，可以把這個問句轉化爲內部表示，其中既有符號表示，又有向量表示，然後用這些表示去檢索知識庫。這個過程用神經網絡來控制。這個工作主要的特點是得到的三元組可能是最好的三元組，根據問句的向量表示，檢索到三元組的向量符號表示。
在下圖中，左下方是根據語言的理解該生成什麼，右邊是從長期記憶裏檢索的結果，通過把兩者結合來做判斷。
第二個要介紹的是今年比較新的工作，叫做 Neural Enquirer and Symbolic Enquirer，與基於神經符號處理的思想非常一致。其中既有神經表示，又有符號表示。查詢數據庫是個非常複雜的過程，在這個工作中，我們希望把 Enquirer 做得非常好，真正去把問句的表示利用起來，很好地檢索數據庫。
怎麼樣把自然語言的描述轉化爲命令還是有一定的挑戰，這個系統中有兩個 Enquirer，一個是 Neural Enquirer，一個是 Symbolic Enquirer。數據庫的查詢操作用符號來表示，整個操作過程用神經網絡來控制，通過三步就能把答案找到。我們可以把數據庫查詢分解成爲最基本的操作，比如 argmax、select 等，可以定義一個命令的集合來組成命令，命令每次的操作是針對一列進行的。
Symbolic Enquirer 的特點是操作的過程全是符號，底層全是用神經網絡去做。用端到端就能構建這樣的系統，不需要任何人的參與。假設有大量的語法，就能學習神經網絡，自動產生命令序列，訪問數據庫找到答案。另外一個對應的想法是 Neural Enquirer，同樣的問句，邏輯上也要執行三步，我們全部用神經網絡去實現。這一塊用到五個 executor。
Symbolic Enquirer 在執行上很快，它的缺點是學習非常困難。Neural Enquirer 的優點是學習比較快，但執行上比較慢，相當於每次都要把數據庫的表重新掃描一遍。自然的想法是將這兩個 Enquirer Couple 起來，把兩者的優點結合。學習的時候，先學 Neural Enquirer，學好了之後再讓他去指導 Symbolic Enquirer，然後 Symbolic Enquirer 再去引導 Neural Enquirer，兩個 Enquirer 互相幫助。
總結
下面我做一個簡單的總結，今天我們暢想的是自然語言的未來，希望未來自然語言處理系統能慢慢實現長期記憶，能把深度學習和符號處理結合起來，發揮兩者的優勢。同時，我們也要更多地參考人腦的信息處理機制，未來把自然語言處理推到另一個高度。考慮有這樣的智能問答系統，能看大量的文獻，知識庫，讀取到重要的信息知識。目前業界正在做很多的相關工作，相信這在未來會是一個重要方向。
後續，李航研究員會以這次公開演講的主題爲契機，撰寫長文來描述他眼中「人工智能的未來」，我們也會第一時間關注。