MILA 2018夏季深度學習與強化學習課程資源大放送

 2018-10-18 20:02:44.0

課程地址:https://dlrlsummerschool.ca/

MILA 2018 夏季課程包括深度學習夏季課程(DLSS)和強化學習夏季課程(RLSS),並主要由以下機構支持。Yoshua Bengio 等人組織的夏季課程每年都非常受關注,每一個主題及講師都是該領域的資深研究者,今年包括 Yoshua Bengio 和 Richard Sutton 在內的講師大多來自常青藤院校、谷歌大腦、VECTOR INSTITUTE 和 MILA 實驗室等知名的研究機構。

深度學習夏季課程

深度神經網絡學習在多層抽象網絡中呈現數據,這極大地提升了語音識別、目標識別、目標檢測、預測藥物分子活動和其他多項任務的水平。深度學習通過監督學習、無監督學習強化學習構建分佈式表徵,在大型數據集中構建複雜的結構。DLSS 將涵蓋深度神經網絡的基礎和應用,從基本概念到尖端研究結成果。

深度學習夏季課程(DLSS)面向已具備機器學習(也可以是深度學習,但不是必須)領域基礎知識並有志於進一步深入學習 的碩士研究生、工程師和研究者。今年的 DLSS 課程由 Graham Taylor、Aaron Courville 、Roger Grosse 和 Yoshua Bengio 共同組織。

強化學習夏季課程

RLSS 會覆蓋強化學習的基礎知識,並且展示其最前沿的研究方向和新發現,還會提供與研究生和業內高級研究人員進行交流的機會。值得注意的是,今年 Richard Sutton 會先給我們上一次強化學習「啓蒙課」:《Introduction to RL and TD》。

本課程主要面向機器學習及其相關領域的研究生。參加者應該有過計算機科學和數學方面的進階預訓練的經驗,今年強化學習夏季課程的組委會成員有 Amir-massoud Farahmand、Joelle Pineau 和 Doina Precup。

DLSS

深度學習夏季課程一共包含 12 個主題,它從機器學習基本概念與理論開始介紹了深度學習常見的方法與理論。包括可學習理論、最優化理論以及循環和卷積神經網絡等。如下所示爲各位講師及他們帶來的課程主題,我們將簡要介紹每一個課程講了些什麼。

深度學習夏季課程

機器學習導論

機器學習一般分爲三大類別:監督學習強化學習和無監督學習。來自杜克大學的 Katherine Heller 講師會對這三種學習方式給出基本定義和區分,並輔以具體實例和算法示例的展示;以監督學習的角度,逐步引入線性擬合、誤差估計、損失函數過擬合欠擬合正則化等基本概念;從貝葉斯定理的角度重新理解過擬合問題;將線性擬合方法推廣,以處理更加複雜的線性擬合問題,最經典的算法爲 Logistic 迴歸。

神經網絡 I

在這節課中,來自谷歌大腦的 Hugo Larochelle 從神經網絡的一般結構開始,過渡到深度學習。神經網路的介紹部分除了基本的前向傳播、初始化、激活函數、反向傳播過程的解釋;和上一節課程的基本概念相對應,涉及損失函數正則化方法的實現,以及如何防止過擬合的方法,模型選擇的方法;此外還有一些神經網絡訓練中常用的優化技巧,例如歸一化、學習率調整等。

深度學習部分強調了訓練困難的問題,主要分爲兩個類別,分別是欠擬合過擬合。講師針對這兩類問題分別對可能的原因和解決方法進行了深入的討論,其中欠擬合問題一般和優化方法、計算硬件等有關,過擬合問題一般需要用正則化方法來解決,並介紹了一種有趣的正則化方法——無監督預訓練;之後在介紹批歸一化方法時,講師強調,這種正則化方法可以同時改善上述兩個訓練難題。

神經網絡 II

在這節課中,Hugo Larochelle 會解釋和對比多種機器學習方式,包括監督學習、無監督學習、半監督學習遷移學習多任務學習、域適應、one-shot 學習、zero-shot 學習等;然後講師會介紹如何根據具體問題設計神經網絡的架構。最後,講師會介紹神經網絡研究中出現的奇異或難以理解的現象,包括對抗樣本損失函數非凸性、數據記憶能力、數據壓縮能力、初始化方法的影響甚至第一個訓練樣本的顯著影響,以及災難性遺忘現象等。

CNN 導論

在這節課中,來自谷歌研究院的 Jonathon Shlens 首先探討了計算機視覺面臨的主要挑戰,簡言之就是:我們不清楚人類視覺系統是怎麼工作的,而現在我們也不清楚計算機視覺系統是怎麼工作的,但這個領域的確在進步。卷積神經網絡就是受到了生物視覺系統的工作方式的啓發而提出來的。講師強調了自然圖像的統計需要遵循不變性,即對圖像變換包括平移、剪裁、旋轉、縮放等的不變性。這也正是卷積神經網絡能成功的一大原因之一,它天然地引入了平移不變性,從而相對於全連接網絡能顯著減少參數數量;並且其架構和輸入圖像尺寸是無關的,因而更容易擴展。

在解釋了基本概念的基礎上,講師進一步介紹了幾個經典的卷積神經網絡架構,比如 LeNet計算機視覺的進步也離不開大規模數據集和算力的發展,尤其是 ImageNet 數據集的提出。講師還強調了歸一化方法的規範和穩定作用,並概述了多種歸一化方法,包括批歸一化、層歸一化、實力歸一化、組歸一化等。然後講師從增加深度的角度探討了卷積架構的演變,並從圖像特徵不變性的角度探討了遷移學習方法的發展,尤其是目標檢測和分割任務上的架構演變。

接着講師探討了架構搜索方法的發展和卷積網絡的特徵可解釋性問題,並在最後討論了卷積神經網絡研究領域面臨的主要挑戰。

理論基礎

普林斯頓大學的 Sanjeev Arora 着重介紹了深度神經網絡的理論基礎,很多讀者可能首先想到的就是萬能近似定理,即足夠寬的單層感知機可以擬合任意函數。但 Arora 更關注於最優化性能、泛化性能、深度法則和其它有可能代替神經網絡的簡單方法。

最優化

多倫多大學的 Jimmy Ba 介紹了最優化基礎的第一部分,他主要介紹了隨機搜索與梯度下降、如何搜索更好的下降方向以及如何設計一個「白盒」的最優化方法。這些主題都是從神經網絡的角度來探討的,甚至還介紹瞭如何採用隨機搜索的方式學習神經網絡參數

在整個課程中,他介紹的梯度下降是比較重要的話題,包括梯度下降爲什麼能朝着更好的方向學習參數、它又如何遭受極值點和鞍點的困擾等。當然既然有這些問題,Jimmy Ba 也會介紹比較好的解決方法,即將物理學中動量的概念引入梯度下降,這樣就能克服這些問題。

美國西北大學 Jorge Nocedal 隨後介紹了最優化的第二部分,他主要從理論的角度解釋瞭如何理解隨機梯度下降擬牛頓法等其它最優化方法,並提出了很多能獲得更快下降速度的技巧。

RNN

主講人 Yoshua Bengio 首先介紹了循環神經網絡及其變體,如生成 RNN(Generative RNN)、雙向 RNN、遞歸網絡、多維 RNN 等,並詳細介紹了 RNN 中涉及的基本概念和原理,如條件分佈、最大似然、通過增加深度來提升 RNN 的表達能力等。然後,Bengio 介紹了 RNN 中的梯度問題,包括梯度消失、梯度爆炸及其解決方案。還介紹了多種 RNN trick,如梯度裁剪、跳過連接、Momentum、初始化、稀疏梯度等。此外,這節課還介紹了注意力方面的知識,如基於注意力的神經機器翻譯、圖注意力網絡、多頭注意力、自注意力和 Transformer 等。

語言理解

來自 CMU 的 Graham Neubig 主講這門課《自然語言理解》,共分爲三部分:語言建模、序列傳導(sequence transduction)和語言分析。從現象到原理到解決方案,由淺入深,圖文並茂。語言建模部分介紹了 NLP 中的一些基本知識:詞袋模型(BOW)、連續詞袋模型(CBOW)、Deep CBOW、Bag of n-grams、池化、NLP 預測任務中的神經網絡基本思路等。此外,這部分還介紹了用於 NLP 任務時 CNN、RNN 的優缺點。序列傳導部分介紹了條件語言模型(Conditioned Language Model)、生成問題、句子表徵和注意力機制。第三部分語言分析介紹了三個分析任務:標註、句法分析和語義分析。

多模型學習

Google AI 研究科學家 Jamie Kiros 主講這門課,主要介紹 Grounded Language Learning,共分爲三個部分:Grounding and Scope、構造塊(包括當前最佳實踐),以及與其他研究之間的關係。第一部分介紹了 natural language grounding 的發展歷史以及兩種主要方法:Tie training and evaluation scopes、Grow training scope, evaluate in world scope。第二部分介紹了五個通用組件:編碼、解碼、交互(interaction)、預測/控制、目標函數;三種交互方式:Scoring、Fusion 和 Modulation。第三部分介紹了與 Grounded Language Learning 相關的研究領域:Contextualization 、Multi-apt representations、Relevance Realization、Specificity、自然語言生成和對話。

計算神經科學

主題爲「大腦中的深度學習」。這門課從「爲什麼深度學習不止用於 AI?」這個問題入手,指出深度學習研究的目標之一是理解大腦的運行原理。然後指出深度學習需要什麼:根據隱藏層對網絡輸出的貢獻向神經突觸分配信用(credit)。接着介紹解決方案——反向傳播,以及原版反向傳播的生物問題。最後介紹了四個問題:error term、下游權重(downstream weight)、derivatves of spikes 和前向/反向傳輸。

RLSS

強化學習夏季課程另外一系列優秀的資源,它從強化學習的「啓蒙」到深度強化學習模仿學習介紹了 RL 的主要脈絡與基礎。不過強化學習夏季課程可能需要一些數學基礎,這樣才能比較好地理解隨機採樣等具體方法。

此外,讀者也可以查看阿爾伯塔大學計算機系博士 Yuxi Li 的深度強化學習手稿,這份 150 頁的手稿從值函數、策略、獎賞和模型等六個核心元素詳細介紹了深度強化學習的方向與細節。

下圖展示了強化學習夏季課程的主題與演講者,我們只簡要介紹 Richard Sutton 給我們的強化學習「啓蒙」。

在 Sutton 的課程中,他首先介紹了在 9 月份正式發佈的《Reiforcement Learning: An Intrifuction》第二版,這本書的電子版同樣可以從 Sutton 的主頁獲得。隨後 Sutton 從生物學基礎開始介紹了什麼是強化學習,即給定環境和狀態的情況下智能體會採取某個行動,而這個行動又會影響到環境,因此影響後的環境將反饋給智能體一些獎勵或懲罰,這樣智能體在不同的環境下就知道該採取什麼樣的行動。

當然 Sutton 還介紹了強化學習的很多基本概念,包括什麼是智能體、環境和策略等,此外也討論了很多基本的強化學習方法,包括馬爾可夫決策過程和 Q 學習等。

文章來源:機器之心