趨勢分析之深度學習

 2019-01-23 12:00:36.0

AMiner全新功能技術趨勢分析Trend analysis(http://trend.aminer.cn)基於AMiner 2億篇論文數據進行深入挖掘,包括對技術來源、熱度、發展趨勢進行研究,進而預測未來的技術前景。技術趨勢分析描述了技術的出現、變遷和消亡的全過程,可以幫助研究人員理解領域的研究歷史和現狀,快速識別研究的前沿熱點問題。

我們目前已發佈了6期分析內容,具體如下:

深度學習(deep learning)的概念源於人工 神經網絡的研究,2006年Hinton等人提出了 深度學習這一概念, 深度學習機器學習研究中的一個新的領域,其動機在於建立、模擬人腦進行分析學習的 神經網絡,模仿人腦的機制來解釋數據,例如圖像、聲音、文本等。

下面我們將用Trend analysis分析深度學習技術領域內的研究熱點。

下圖是當前該領域的熱點技術趨勢分析,通過Trend analysis分析挖掘可以發現當前該領域的熱點研究話題Top10如下:

  • deep learning

  • neural network

  • speech recognition

  • feature extraction

  • hidden markov models

  • unsupervised learning

  • face recognition

  • restricted boltzmannmachines

  • boltzmann machine

  • deep neural network

根據Trend analysis的分析我們可以發現,該領域當前最熱門的話題是deep learning,2009年開始deep learning的話題熱度迅速上升,論文發表數量也在不斷增加,儘管13年熱度開始有所下降但論文發表數量仍然較大;hidden markov models和speech recognition的研究熱度從2009年開始迅速上升成爲領域內最熱門的研究話題Top 2;變化幅度波動較大的face recognition則是在2005年-2009年近十年的期間內一度佔據當時熱門話題榜首,09年之後熱度開始逐漸下降。

深度學習三巨頭」之一的Yoshua Bengio教授是機器學習大神之一,尤其是在深度學習領域,業內戲稱他與同樣活躍於加拿大的「神經網絡之父」Geoffrey Hinton和「卷積網絡之父」Yann LeCun爲「加拿大黑手黨」(Canadian Mafia)。Bengio的主要研究領域是深度學習(Deep Learning)和自然語言處理(Natural Language Processing)。在30餘年的深度學習研究生涯裏,他發表了300多篇學術論文,累計被引用次數超13.8萬次。

Yoshua Bengio出生於巴黎,成長於加拿大,現居加拿大蒙特利爾,在蒙特利爾大學(University of Montreal)計算機科學與運算系任教授。他於1991年獲得加拿大麥吉爾大學(McGill University)的計算機科學博士學位。

20世紀80年代,大學時期的Bengio對深度學習產生興趣並正式進入人工智能研究領域。那時,深度學習還是一個非常冷門的領域。從1997年深藍擊敗卡斯帕羅夫到2011年沃森贏得《危險邊緣》,這中間經歷了漫長的人工智能寒冬,Bengio曾感慨,很長一段時間裏,幾乎從來沒有人深入挖掘它。但Bengio似乎沉浸其中,他建立了蒙特利爾學習算法研究所(Montreal Institute For Learning Algorithms, MILA)並擔任科學主任,還構建起蒙特利爾的人工智能生態系統。他是加拿大統計學習算法研究主席,也在2009年擔任了機器學習頂級會議NIPS的主席(General Chair)。

去年11月7日,Bengio教授曾受邀到清華作《深度學習AI邁向人類水平的挑戰》主題講座。在講座中,Bengio教授表示目前的人工智能距離人類水平仍然十分遙遠,當前人工智能在工業應用的成果主要是基於監督學習方法。人工智能仍然面臨巨大挑戰,即無法像人類一樣自主理解外界、與環境交流。Yoshua深度探討了深度學習模型的具體內容,如何實現對抽象特徵的多層次學習,如何更好地進行表示學習,使用判別器優化信息間的獨立性、相關性和熵,BabyAI框架等話題。

演講視頻如下(由於上傳限制原因,視頻分成2部分,願大家諒解。)

第1部分

第2部分

深度學習目前已經成功應用於計算機視覺語音識別自然語言處理等領域,正潛移默化地改變着我們的生活方式。

文章來源:機器之心