雷鋒網按：本文作者 Carlos E. Perez ，他來自機器學習技術公司 Intuition Machine，主要研究深度學習類型、方法論、以及行業戰略。 發佈於 Medium 的這篇文章主要對 2017 年深度學習的十大趨勢做出了預測，雷鋒網(公衆號：雷鋒網)編譯，未經許可不得轉載。
作爲一名人工智能領域裏的圈內人士，上次寫科技預測要追溯到 6 年前了，當時我寫了一篇「2011 軟件開發趨勢及預測」的文章，文中對行業做了十點預測，其中六個預測準確，分別是 Javascript VM、 NoSQL、大數據分析、私有云、反向桌面服務、Scala；四個略有偏差，分別是企業應用商店，語義索引、企業級OA授權、前瞻性代理。現在，我打算再來預測一下深度學習行業。
不過，這次預測和以往的不太一樣，我不打算進行企業級應用預測，而是把重點放在了趨勢研究和預測。毫無疑問，深度學習將會驅動越來越多的企業採用人工智能技術，對於那些「老土」的企業，未來很可能會被淘汰。好了，廢話不多說，現在就來介紹一下我對 2017 年深度學習領域的預測和趨勢分析吧！
一、 硬件將會以摩爾定律的兩倍速度發展
如果你瞭解英偉達和英特爾這兩家公司的硬件發展速度，就不會對摩爾定律的速度提升一倍感到意外了。在深度學習領域裏，英偉達將會佔據絕對統治地位，因爲他們已經構建了最豐富的生態系統。沒有人會傻到跳去選擇其他不成熟的深度學習生態系統，預計到 2017 年中旬，英特爾 Xeon Phi 纔有可能在性能上趕超英偉達，不過距離投放市場依然有距離。
另一方面，雖然英特爾 FPGA 解決方案可能會受到雲技術提供商的青睞，但更多的是處於經濟實惠的角度。如果想要減少成本，那麼功耗是必須要改變一個要素，到明年中旬，英特爾的 Nervana 芯片預計可以達到 30 萬億次的浮點運算能力——這是我依照推測的估算，因爲現在英偉達已經開發出了具備 20 萬億次浮點運算能力的處理芯片，我不相信英特爾會「憋」到 2018 年才放大招。此外，英特爾現在手頭上唯一的大王牌可能是他們的 3D XPoint 技術，該技術可以改善整個硬件堆棧，但是在覈心加速能力上相比於 AMD 使用的 HBM2 顯存似乎略有欠缺。
亞馬遜公司也宣佈推出了基於現場可編程門陣列（FPGA）的雲計算架構，它基於賽靈思公司 UltraScale+ 技術，並提供了 6800 個數字信號處理器和 64 GB 內存，這種配置的確非常強大，但是由於受到 I/O 束縛，可能也無法與 AMD 的 HBM 顯存的性能想必你。雖然相比於英偉達、英特爾和 AMD 這樣的廠商，亞馬遜公司提供了更低的內存帶寬解決方案，但是對於開發人員而言，可能會考慮下是否需要投入更多複雜開發流程（比如硬件描述語言 VHDL、Verlog等）
我所瞭解的最新消息是，AMD 已經發布全新一代Vega架構產品，但它不是消費級顯卡，而是一款高性能計算加速卡「Radeon Instinct」，主要用於機器學習和深度學習，而且專門爲了和英偉達旗下的硬件產品競爭。有消息稱，這款產品預計會在明年年初正式上市，不過在 AMD 能夠提供配套的軟件解決方案之前，不要期待太多英偉達用戶會「轉投」到 AMD 的懷抱。
二、卷積神經網絡（CNN）將佔主導地位
對於深度學習系統而言，卷積神經網絡將會成爲標配，就像麪包離不開黃油一樣。遞歸神經網絡和長短記憶型遞歸神經網絡週期性的配置，以及嵌入到內存節點都會逐漸被越來越少使用，因爲他們和基於卷積神經網絡技術的解決方案相比沒有任何競爭力。就像現在人們編程時，沒有人會使用 GOTO 語句一樣，我認爲，遞歸神經網絡（RNN）和長短記憶型遞歸神經網絡（LSTM）的「下場」也一樣。
可區分的記憶網絡也將會變得越來越常見。這是一個自然選擇的結果（或是架構），內存將會從核心節點上提取出來，在計算機制內只是作爲一個單獨的組成部分駐留。我們已經看到了模塊化的長短記憶型遞歸神經網絡從內存中分離（比如增強現實遞歸神經網絡）。
三、設計師將會越來越依賴於「元學習」
當我開始自己的深度學習之旅時，曾想過優化算法，特別是想去改進那些二階優化算法。可如今，幾乎可以斷定的說，機器學習已經可以學習爲你優化算法了。如果現在還有人嘗試使用一個更好版本的隨機梯度下降（SGD）算法的話，基本上可以不用自己寫代碼了。隨機梯度下降算法可以通過機器學習來變得更好，而且可以解決某個特定問題。元學習會根據自身所處領域，適應性地優化學習。與此相關的是，替代算法的反向傳播將開始出現在實踐中。我的預測是，明年隨機梯度下降算法可能要壽終正寢了。
四、強化學習只會變得更有創意
對現實的觀察永遠是不完美的，當隨機梯度下降算法不再適用之後，也同樣會帶來大量問題。未來，實際部署任何深度學習系統的時候，都需要一定形式的強化學習，這可能會成爲一個必不可少的流程。除此之外，我們會看到強制學習將會越來越多地用於深度學習訓練之中。舉個例子，元學習將會得到強制學習的支持，事實上，我們已經看到了強制學習被用於尋找不同類型的神經網絡結構。
五、對抗和協作學習將會成爲主流
在過去，我們擁有的是單一深度學習系統，它只有單一解析目標的功能。而在未來，我希望看到兩個或是多個神經網絡合作（或競爭），最終找到一個最優的解決方案。在此，我推薦一篇論文——《Game Theory reveals the future of Deep Learning》。2017 年，將會有更多人研究如何管理非平衡狀態的語境。實際上，現在我們已經看到了一些相關研究，比如研究人員正在使用生成式對抗網絡(GAN)嘗試尋找處理非平衡狀態的方法。
六、預測學習或無監督學習？可能進步不大
「預測學習」（predictive learning）是人工智能大咖 Yann LeCun 提出的一個最新熱門詞，基本上已經取代了之前我們常見的人工智能術語「無監督學習」。當然啦，現在我們還不清楚這個最新術語是否能夠被更廣泛地應用，雖然這問題很難在 2017 年就獲得答案，但我可以斷言「預測學習」不會取得太大進步。我現在的感覺是，這個技術過於複雜，因此存在很多概念上的斷鏈，人們也不知道它究竟是如何工作的。
如果你讀過我之前發表的文章《深度學習智能的五大能力》，可能會覺得預測學習完全是一種讓人無法感知到的技術能力，它就像是宇宙中的暗物質似的，雖然我們都知道它的存在，但就是不知道該如何觀察到它。
七、遷移學習會導致產業化
吳恩達認爲這很重要，我也持同樣的觀點。雷鋒網瞭解到，吳恩達曾拿百度 NLP 團隊的研究成果舉例，認爲如果同時學習多個語言對之間的翻譯，效果會比同時學習一個語言對的效果好。
八、越來越多的應用程序將會把深度學習作爲組件
實際上，今年我們就已經看到這一趨勢了，比如在大規模搜索算法中就被用於函數評估組件。谷歌的「阿法狗」在走棋估值和策略評估之中就採用了深度學習技術，Gmail 的自動回覆系統也採用了機器學習技術和定向搜索服務結合在一起。明年，相比於全新的端到端訓練深度學習系統，我更希望能看到更多混合算法出現。端到端深度學習是一個很有前景的研究領域，但就目前應用層面來看，混合系統似乎更有效率。
九、設計模式會被更多地採納
深度學習只是衆多需要概念架構的複雜領域中的一個，雖然它涉及到高等數學，也有大量文字敘述和模糊的概念（這些概念也難以通過正規、嚴謹的方法來獲取），但我們必須承認，一些深度學習設計模型已經在某些複雜的行業領域裏，比如軟件開發得到了很好的使用。我預測，會有更多行業從業者能夠接受深度學習和設計模式。
十、工程將比理論更受重視
當研究人員嘗試探索研究方法時，自身的背景和他們所使用的數學工具可能會帶來一些「偏見」，導致最終生成的結果不夠客觀，但是深度學習系統和無監督學習系統可能不會遇到這些問題。就目前來說，沒有證據表明傳統的分析工具對揭開深度學習如何工作有什麼幫助，相同的問題也出現在其他領域裏，比如物理學對於動態系統如何工作也困惑了好幾十年，同樣的狀況也出現在動態學習系統裏。
不過，雖然對很多基本原理缺乏深刻理解，但這並不妨礙我們去嘗試更多、更高級的應用工程。深度學習就像是生物科技或是基因工程，我們已經創造出了模擬學習的機器，但是我們還不知道它是如何工作的，然而這並不妨礙我們進行創新。
最後想說的是，我會在明年這個時候來看看自己的預測結果如何，所以祝我好運吧！
VIA medium
【招聘】雷鋒網堅持在人工智能、無人駕駛、VR/AR、Fintech、未來醫療等領域第一時間提供海外科技動態與資訊。我們需要若干關注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優良的外翻編輯加入。
簡歷投遞至 wudexin@leiphone.com，工作地 北京。
