NIPS 2017 | 機器之心線上分享第三期:深度神經網絡 - 隨機三元化梯度下降和結構化稀疏

 2017-11-23 12:19:00.0

原標題:NIPS 2017 | 機器之心線上分享第三期:深度神經網絡 - 隨機三元化梯度下降和結構化稀疏

11 月初,我們發佈了《攻略 | 雖然票早已被搶光,你可以從機器之心關注 NIPS 2017》。在 NIPS 2017 正式開始前,我們將選出數篇優質論文,邀請論文作者來做線上分享,聊聊理論、技術和研究方法。

本週將進行線上分享的第三期,機器之心邀請到了杜克大學博士生溫偉給我們介紹杜克大學的一篇NIPS 2017 Oral 論文。

日期:北京時間 11 月 26 日 20:30 至 21:30。

分享者簡介溫偉,博士生四年級,現就讀於杜克大學,導師爲李海教授和陳怡然教授。溫偉博士的研究方向主要是分佈式機器學習、模型壓縮、結構學習和深度神經網絡理解。個人主頁:www.pittnuts.com。

演講主題:深度神經網絡 - 隨機三元化梯度下降和結構化稀疏

演講摘要

1.TernGrad - 一種把梯度三元量化到{-1,0,+1},以改善分佈式深度學習的通信瓶頸,從而提高訓練速度的方法;

TernGrad[1]是一種梯度量化方法,將浮點梯度隨機量化到{-1,0,+1},在保證識別率的情況下,大大降低梯度通信量。TernGrad文章是NIPS 2017 Deep Learning track裏的4篇orals之一;

2.SSL - 基於結構化稀疏的深度神經網絡加速方法。

本次分享的第二個主題是SSL[2]。相對於連接剪枝(ConnectionPruning),SSL可以直接控制稀疏模式,避免稀疏權重隨機分佈導致的計算效率低的問題。SSL是一個通用方法:在CNNs中,SSL可以去掉filters,channels,neurons,ResNets裏的layers,學到非矩形的filter形狀,以及去掉權重矩陣裏面的行和列。文章發表在NIPS 2016,並與微軟研究院-雷德蒙德合作,擴展到LSTMs並提交在某會議[3]。在LSTMs中,該方法可以有效地去掉hidden states,cells,gates和outputs,從而直接學到一個hidden size更小的LSTMs並不改變LSTMs內部固有的結構。

所有代碼均已開源[4][5][6]。

[1] Wei Wen, Cong Xu, Feng Yan,Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li, TernGrad: Ternary Gradients toReduce Communication in Distributed Deep Learning, NIPS 2017

[2] Wei Wen, Chunpeng Wu, YandanWang, Yiran Chen, Hai Li, Learning Structured Sparsity in Deep Neural Networks,NIPS 2016

[3] Wei Wen, Yuxiong He, SamyamRajbhandari, Wenhan Wang, Fang Liu, Bin Hu, Yiran Chen, Hai Li, LearningIntrinsic Sparse Structures within Long Short-Term Memory, arxiv preprint

[4] https://github.com/wenwei202/terngrad

[5] https://github.com/wenwei202/caffe

[6] https://github.com/wenwei202/iss-rnns

參與方式

線上分享將在「NIPS 2017 機器之心官方學霸羣」中進行。加羣方式:備註暗號:147,由小助手拉大家入羣。

    「閱讀原文」,查看機器之心 NIPS 2017 專題策劃並參與其中。

    責任編輯:

    文章來源:機器之心