NIPS 2017 | 機器之心線上分享:大疆提出高準確率的二值卷積神經網絡

 2017-12-04 12:25:00.0

原標題:NIPS 2017 | 機器之心線上分享:大疆提出高準確率的二值卷積神經網絡

11 月初,我們發佈了《攻略 | 雖然票早已被搶光,你可以從我們關注 NIPS 2017》。在 NIPS 2017 正式開始前,我們將選出數篇優質論文,邀請論文作者來做線上分享,聊聊理論、技術和研究方法。

最新一期的 NIPS 2017 線上分享,我們邀請到了大疆創新的林曉帆博士爲我們介紹他們的 Spotlight 論文《Towards Accurate Binary Convolutional Neural Network》。

日期:北京時間 12 月 06 日 20:00-21:00

講者簡介:林曉帆,華南理工大學博士,研究方向爲機器學習、稀疏與低秩矩陣復原、模型壓縮、二值網絡。目前就職於大疆創新。

演講主題:高準確率的二值卷積神經網絡

演講摘要:

我們提出一種新的訓練二值卷積神經網絡的方案。二值卷積網絡是一種權值和激活值在推理階段只有兩種取值(如 {-1, +1})的卷積神經網絡。這種網絡能顯著減少模型存儲容量和運行內存要求,並且可以用位操作代替算術操作,提高硬件的運算速度,減小電量損耗。然而,以往把浮點網絡轉化爲二值網絡的工作都存在嚴重的準確率下降的問題。我們提出兩個創新點來改善這個情況:第一,用多個二值權值張量的線性組合來近似浮點權值張量;第二,用多個二值激活值張量來減少信息由於二值化帶來的損失。根據上述創新,我們設計了 Accurate Binary Convolutional Neural Network (ABC-Net)。在有足夠多二值權值和激活值的情況下,ABC-Net 的準確率遠比以往的二值網絡更接近它們對應的浮點版本,甚至能在 ImageNet 和 forest trail 數據集上達到可以與浮點網絡相比較的準確率。


文章來源:機器之心