11 月初,我們發佈了《攻略 | 雖然票早已被搶光,你可以從機器之心關注 NIPS 2017》。在 NIPS 2017 正式開始前,我們將選出數篇優質論文,邀請論文作者來做線上分享,聊聊理論、技術和研究方法。
本週將進行線上分享的第三期,機器之心邀請到了杜克大學博士生溫偉給我們介紹杜克大學的一篇NIPS 2017 Oral 論文。
日期:北京時間 11 月 26 日 20:30 至 21:30。
分享者簡介:溫偉,博士生四年級,現就讀於杜克大學,導師爲李海教授和陳怡然教授。溫偉博士的研究方向主要是分佈式機器學習、模型壓縮、結構學習和深度神經網絡理解。個人主頁:www.pittnuts.com。
演講主題:深度神經網絡 - 隨機三元化梯度下降和結構化稀疏
演講摘要
1.TernGrad - 一種把梯度三元量化到{-1,0,+1},以改善分佈式深度學習的通信瓶頸,從而提高訓練速度的方法;
TernGrad[1]是一種梯度量化方法,將浮點梯度隨機量化到{-1,0,+1},在保證識別率的情況下,大大降低梯度通信量。TernGrad文章是NIPS 2017 Deep Learning track裏的4篇orals之一;
2.SSL - 基於結構化稀疏的深度神經網絡加速方法。
本次分享的第二個主題是SSL[2]。相對於連接剪枝(ConnectionPruning),SSL可以直接控制稀疏模式,避免稀疏權重隨機分佈導致的計算效率低的問題。SSL是一個通用方法:在CNNs中,SSL可以去掉filters,channels,neurons,ResNets裏的layers,學到非矩形的filter形狀,以及去掉權重矩陣裏面的行和列。文章發表在NIPS 2016,並與微軟研究院-雷德蒙德合作,擴展到LSTMs並提交在某會議[3]。在LSTMs中,該方法可以有效地去掉hidden states,cells,gates和outputs,從而直接學到一個hidden size更小的LSTMs並不改變LSTMs內部固有的結構。
所有代碼均已開源[4][5][6]。
[1] Wei Wen, Cong Xu, Feng Yan,Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li, TernGrad: Ternary Gradients toReduce Communication in Distributed Deep Learning, NIPS 2017
[2] Wei Wen, Chunpeng Wu, YandanWang, Yiran Chen, Hai Li, Learning Structured Sparsity in Deep Neural Networks,NIPS 2016
[3] Wei Wen, Yuxiong He, SamyamRajbhandari, Wenhan Wang, Fang Liu, Bin Hu, Yiran Chen, Hai Li, LearningIntrinsic Sparse Structures within Long Short-Term Memory, arxiv preprint
[4] https://github.com/wenwei202/terngrad
[5] https://github.com/wenwei202/caffe
[6] https://github.com/wenwei202/iss-rnns
參與方式
線上分享將在「NIPS 2017 機器之心官方學霸羣」中進行。加羣方式:備註暗號:147,由小助手拉大家入羣。
戳「閱讀原文」,查看機器之心 NIPS 2017 專題策劃並參與其中。
責任編輯: