雷鋒網【AI科技評論】按：爲期3天的ICLR 2017深度學習頂會正在法國土倫召開，6場Invited Talk，15場Contributed Talk（oral paper）, 310個論文海報展示讓任何人置身其中的時候，都不免產生一種信息量巨大，怎麼看也看不完的錯覺，雷鋒網【AI科技評論】團隊實地考察後，發現我們可以從現場的亮點中來理出一些對大會深入學習的蛛絲馬跡。
大牛「滿天飛」
ICLR 2017正式召開前，大會官網議程表裏顯示的只是幾個簡單的Invited talk(主題演講)和Contributed Talk（口頭論文演講）的演講者信息，絲毫不見其它大牛講者的蹤影。不過這個平凡感沒維持太久，第一天（4月24號）上午的第2個Contributed Talk結束後，3樓主會議室的700多名聽衆不約而同地涌出會議室進入到外面的自由交流空間進入Poster Session（論文自由交流）環節，正好讓剛剛「湮沒」在主會議室的Yann LeCun, Yoshua Bengio, Ian Goodfellow等大牛都躋身在3樓自由討論空間和大家來個「偶然邂逅」。譬如，AI科技評論在3樓某個不起眼的角落就看見了Yann LeCun正在和一個紐約大學的教授討論剛剛結束的演講主題，因爲隔得比較近，我們順勢請教了LeCun教授關於ICLR的幾個問題並要求了一個Yann LeCun教授的簽名。
論文自由交流時間佔比大
大會召開的3天裏，每天給論文自由交流的時間都佔到了4小時。第一天爲例，上午10:20的Contributed Talk結束後，一直持續到12:30前的2個小時都是論文自由交流時間；下午4:10的Contributed Talk結束後, 一直持續到6:30的2個小時都也是論文自由交流時間；
而且因爲是開放的自由交流時間，不管你來自哪個學校或者機構，你都可以跟任何一個你想要交流的人討論他的論文。圖爲雷鋒網(公衆號：雷鋒網)【AI科技評論】跟Contributed Talk：Amortised MAP In-ference for Image Super-resolution的第一作者Casper Kaae Sønderby在自由交流區請教問題後的攝像。
論文展區裏潛龍臥虎
310多個論文海報展示，因爲場地有限，每一天的conference paper展區和workshop paper展區海報都必須置換一次，所以我們會看到非常刺激的一幕：各個知名學術大牛的學生們在他們論文展示當天非常耐心地講解自己的論文。
下圖爲Yoshua Bengio學生團隊講解的論文。
下圖爲Facebook人工智能研究院的田淵棟在講解論文。
下圖爲2016年ICLR最佳論文獲得者韓鬆團隊的斯坦福學生毛惠子在講解論文。
討論的東西很實用，在爭議中尋求進步
Contributed Talk或許是最能體現這次大會主題的東西，我們先來看看這3天的Contributed Talk標題。
第一天
Contributed talk 1: End-to-end Optimized Image Compression
Contributed talk 2: Amortised MAP Inference for Image Super-resolution
Contributed Talk 3: Understanding deep learning requires rethinking generalization - BEST PAPER AWARD
Contributed Talk 4: Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
Contributed Talk 5: Towards Principled Methods for Training Generative Adversarial Networks
第二天
Contributed talk 1: Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data - BEST PAPER AWARD
Contributed talk 2: Learning Graphical State Transitions
Contributed Talk 3: Learning to Act by Predicting the Future
Contributed Talk 4: Reinforcement Learning with Unsupervised Auxiliary Tasks
Contributed Talk 5: Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
第三天
Contributed talk 1: Learning End-to-End Goal-Oriented Dialog
Contributed talk 2: Multi-Agent Cooperation and the Emergence of (Natural) Language
Contributed Talk 3: Making Neural Programming Architectures Generalize via Recursion - BEST PAPER AWARD
Contributed Talk 4: Neural Architecture Search with Reinforcement Learning
Contributed Talk 5: Optimization as a Model for Few-Shot Learning
相比AAAI這種綜合性更強的學術會議， ICLR顯然在深度學習的世界裏奔跑地更加「純碎」： 端到端優化的圖像壓縮，重新思考泛化，GANs，半監督學習，預測未來……從這些口頭演講的論文標題中的關鍵字，我們就可以看出這次演講的東西都是深度學習學者相對熟悉的熱詞，雖然比不上生成式對抗網絡GANs橫空出世時的驚豔，不過總體觀感這次會議討論的話題開始趨於實用化。
另外比較有意思的是，其中有的口頭演講論文在大會之前就引起了很大爭議，比如獲得最佳論文的Understanding deep learning requires rethinking generalization 理解深度學習，需要重新思考泛化問題（這篇論文以「重新思考泛化問題」爲主題，通過系統試驗，展示傳統方法無法解釋大規模神經網絡在實踐中的泛化表現好的原因。而在實驗中，研究者證明了用隨機梯度訓練、用於圖像分類的 CNN 很容易擬合隨機標籤數據，而且本質上並不受顯式正則化的影響。）在最終的評審結果裏它得到的反饋是－「作者在論文中闡述了深度神經網絡擬合隨機標籤數據的能力，並給出了非常不錯的實驗結果。這個調查不僅全面，也具有啓發意義。……‘ 但也有人在 OpenReview 上公開對這篇論文提出了不同意見。
不過從現場反饋來看，正是這些爭議反而讓我們看到了一個生動，更真實的ICLR。
華人創新力量不可小覷
入選ICLR oral論文中的3篇裏的華人創新力量，包括Contributed Talk:Understanding deep learning requires rethinking generalization的論文第一作者張馳原; Contributed Talk:Amortised MAP In-ference for Image Super-resolution論文團隊裏的施聞哲； Contributed Talk : Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic論文團隊裏的顧世翔，從以上大家有所耳聞的3位，再到論文海報展區背後的Facebook華人實習生，跟英偉達合作的斯坦福華人學生，前來參展的國內企業等，我們看到華人創新力量正在各自專注的領域獲得越來越好的成績。就像獲得ICLR最佳論文的張馳原在現場做Contributed Talk演講的時候，清晰的邏輯，生動的PPT展示方法，回答現場質疑的冷靜幽默，讓現場出現了幾次掌聲雷動的場景，這情形不亞於一羣嫺熟導師發現新大陸時的震撼和驚喜。
小結
從初次簽到時會場的「簡陋」，到第二天大牛「滿天飛」的戲劇性反轉之後，再到後面無窮無盡的論文討論。大家會發現這是一個非常重視「基於論文溝通交流」的學術大會，而不是單純做做樣子。主會議室演講的大部分主題讓給了論文，業界公司過來展示版面讓給了論文，論文海報展示區前的大部分人也是爲了溝通交流而來。對於那些狂熱的學習交流分子來說，下圖中涌動的人頭就是他們心中最美的畫面。
