GPU的主页

帮趣游戏     进入个人中心

GPU

gpu

幫趣網協助針對GPU資訊發佈, 幫趣網擁有針對IT領域数十萬筆活動聯繫資訊,並且協助廠商做資訊發佈,活動發佈

http://bangqu.com/gpu

职业: GPU

现居:

  • 浏览 941次
  • 感谢 0人
  • 收益 ¥0.0元

深度學習零基礎進階第四彈|乾貨分享

我們曾編譯了《乾貨分享|深度學習零基礎進階大法!》系列,相信讀者一定對深度學習的歷史有了一個基本了解,其基本的模型架構(CNN/RNN/LSTM)與深度學習如何應用在圖片和語音識別上肯定也不在話下了。今天這一部分,我們將通過新一批論文,讓你對深度學習在不同領域的運用有個清晰的了解。由於第三部分的論文開始向細化方向延展,因此你可以根據自己的研究方向酌情進行選擇。我們對每篇論文都增加了補充介紹。這一彈主要從自然語言處理以及對象檢測兩方面的應用進行介紹。

 

本文編譯於外媒 github,原文標題《Deep Learning Papers Reading Roadmap》,原作者songrotek

https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap

 

 

1. NLP(自然語言處理)

 

Antoine Bordes 等人撰寫了論文《Joint Learning of Words and Meaning Representations for Open-TextSemantic Parsing》。通常來說,模擬是減輕強化學習的高樣本複雜性的好策略。從科學方法論上看,對於反事實的場景,模擬的環境是數據集的模擬,因此它們可以使用共同的指標,允許重複性實驗和創新民主化。Antoine Bordes 主張使用一個可實現的模擬問題的集合(對於多種問題,哪一種完美的性能是可能實現的,哪一種能表現出明顯不同的能力。)在這篇論文中,你可以對這個問題有所了解。

 

[1]  https://www.hds.utc.fr/~bordesan/dokuwiki/lib/exe/fetch.php?id=en%3Apubli&cache=cache&media=en:bordes12aistats.pdf

 

 

詞嵌入是目前無監督學習的成功應用之一。它們最大的好處無疑是它們不需要昂貴的人工標註,而是在從未標註的現成大數據集中派生的。然後預訓練的詞嵌入就可以運用在僅使用少量有標註數據的下游任務中了。《Distributed representations of words and phrases and theircompositionality Mikolov 等人編著的論文。其中介紹了2013 年創立的word2vec,這是一個允許無縫訓練和使用預訓練嵌入的工具套件。

 

[2]  http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf

 

 

這是由Sutskever等人編寫的《Sequence-to-SequenceLearning with Attentional Neural Networks(使用注意神經網絡的序列到序列學習)》。2014年,seq2seq的神經網絡模型開始用於機器翻譯。在帶有(可選)注意(attention)的標準seq2seq模型的Torch實現中,其編碼器-解碼器(encoder-decoder)模型是LSTM。編碼器可以是一個雙向LSTM。此外還能在字符嵌入(character embeddings)上運行一個卷積神經網絡然後再運行一個highway network,從而將字符(而不是輸入的詞嵌入)作為輸入來使用。

 

[3]  http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

 

 

這是 Ankit Kumar 所寫的《 Ask Me Anything: Dynamic Memory Networks for Natural LanguageProcessing》,其中介紹了應用偶發性修正存儲的想法,期望模型能夠藉此學到一些邏輯推理的能力。論文比較有趣。

 

[4]  https://arxiv.org/abs/1506.07285

 

Yoon Kim 所寫的《Character-AwareNeural Language Models》。論文提出一個僅建立在字符輸入上的一個神經語言模型(NLM),預測還是在詞水平上進行。當輸入一個LSTM循環神經網絡語言模型(RNN-LM)時,該模型在字符上啟用了一個卷積神經網絡(CNN),也可選擇讓該CNN的輸出通過一個HighwayNetwork,這樣就能提升表現。

 

[5]  https://arxiv.org/abs/1508.06615

 

 

Jason Weston 等人所寫的《TowardsAI-Complete Question Answering: A Set of Prerequisite Toy Tasks》,內容主要針對bAbI 數據集。

 

[6]  https://arxiv.org/abs/1502.05698

 

Google DeepMind 團隊在NIPS 2015 發表了一篇題為“Teaching Machines to Read andComprehend 的論文,這篇論文想解決的問題是:如何讓計算機回答提問。具體來說,輸入一篇文章(d)和一句提問(q),輸出文章中的一個詞組,作為回答(a)。

 

[7]  https://arxiv.org/abs/1506.03340

 

在許多自然語言處理任務中起到主導地位的方法是循環神經網絡(RNN,尤其是長短時間記憶網絡,LSTM)和卷積神經網絡(ConvNets)。然而,相比於深度卷積網絡在計算機視覺領域中取得的巨大成功,這些網絡結構還是太過淺層了。

 

Alexis Conneau 等人所寫的論文《Very Deep Convolutional Networks for Natural Language Processing 提出了一種直接在字符級別上進行文本處理的新結構,但僅僅用了很少的捲積和池化操作。實驗結果表明模型的性能與網絡深度成正比,一直用到29 層卷積層,在多個文本分類任務中取得了重大的效果提升。據了解,這是深度卷積網絡第一次應用在自然語言處理任務中。

 

[8]  https://arxiv.org/abs/1606.01781

 

自動文本處理在日常計算機使用中相當關鍵,在網頁搜索和內容排名以及垃圾內容分類中佔重要組成部分,當它運行的時候你完全感受不到它。隨著在線數據總量越來越大,需要有更靈活的工具來更好的理解這些大型數據集,來提供更加精準的分類結果。

 

為了滿足這個需求,Facebook FAIR 實驗室開源了資料庫fastText,聲稱相比深度模型,fastText 能將訓練時間由數天縮短到幾秒鐘。fastText 能針對文本表達和分類幫助建立量化的解決方案。論文《Bag of Tricks forEfficient Text Classification》介紹了fastText 的具體實現原理。

 

[9]  https://arxiv.org/abs/1607.01759

 

2.  Object Detection (對象檢測)

 

Ross Girshick 所寫的《Rich feature hierarchies for accurate object detection and semanticsegmentation》。Ross Girshick 是首個提出的基本參數區域卷積神經網絡的學者。五星推薦。

 

[1]  http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Girshick_Rich_Feature_Hierarchies_2014_CVPR_paper.pdf

計算科學家一直在努力建立世界上最精確的計算機視覺系統,但是過程困難而緩慢。微軟研究院在論文《Spatial pyramid pooling in deep convolutional networks for visualrecognition》中介紹了,在保持準確性不變的條件下,微軟研究團隊是如何將深度學習目標檢測系統加速了到100 倍的。

 

[2]  https://arxiv.org/pdf/1406.4729.pdf

 

選自2015 IEEE 國際大會上CV 領域的論文集,介紹了圖像識別領域最先進的框架 Faster R-CNN 相關知識。

 

[3]  https://pdfs.semanticscholar.org/8f67/64a59f0d17081f2a2a9d06f4ed1cdea1a0ad.pdf

 

 

任少卿是世界上最廣泛使用的物體檢測框架Faster RCNN 的提出者。本篇論文《Faster R-CNN: Towards real-time object detection with regionproposal networks》是由他主筆而成。

 

[4]  http://papers.nips.cc/paper/5638-analysis-of-variational-bayesian-latent-dirichlet-allocation-weaker-sparsity-than-map.pdf

 

 

Redmon Joseph等合著《You only look once: Unified, real-time object detection ,提出了YOLO 算法,號稱和Faster RCNN 精度相似但速度更快。五星推薦。

 

[5]  http://homes.cs.washington.edu/~ali/papers/YOLO.pdf

 

 

論文《SSD: Single Shot MultiBox Detector》介紹了在arXiv上出現的算法Single Shot MultiBox Detector SSD)。它是YOLO 的超級改進版,吸取了YOLO的精度下降的教訓,同時保留速度快的特點。SSD 能達到58 幀每秒,精度有72.1。速度超過Faster R-CNN 8 倍,但也能達到類似的精度。

 

[6]  https://arxiv.org/pdf/1512.02325.pdf

 

 

Via github

https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap

 


分享时间: