本文由圖普科技編譯自《Milestones of Deep Learning》
「深度學習」自問世到現在已有大約十年的時間了，從一開始，它就因爲其巨大的成功風靡全世界。以下是「深度學習」在這些年的發展過程中所取得的一些重大成就。
AlexNet — 2012
AlexNet架構（圖片來自題爲《ImageNet Classification with Deep Convolutional Neural Networks》的研究論文）
· AlexNet的出現證明了「卷積神經網絡」確實奏效。AlexNet及其研究性論文《ImageNet Classification with Deep Convolutional Neural Networks》被認爲是推動深度學習進入主流的最重要動力。
· AlexNet以15.4%的低失誤率奪得2012年ILSVRC（ImageNet大規模視覺識別挑戰賽）的冠軍。（亞軍得主的失誤率爲26.2%。）
· AlexNet含有8個層，其中5個爲卷積層，3個爲全連接層。
· 將ReLU用於非線性函數，而非傳統的tanh函數。
· 引入了漏失層和數據增強以克服過度擬合的問題。
《ImageNet Classification with Deep Convolutional Neural Networks》，作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton。
ZF Net — 2013
ZF網絡架構（圖片來自題爲《Visualizing and Understanding Convolutional Networks》的研究論文）
· 以11.2%的低失誤率奪得2013年ILSVRC冠軍。
· 與AlexNet架構相似，ZF網絡也是在一些調整和優化中不斷提高了其工作性能。
· 引入了一項可視化技術——「轉置卷積網絡」——來觀察卷積神經網絡的內部工作原理。
《Visualizing and Understanding Convolutional Networks》，作者Matthew D. Zeiler和Rob Fergus。
VGG Net — 2014
VGG網絡架構（圖片來自Keras博客：https://blog.keras.io）
· 以7.3%的失誤率取得了2014年ILSVRC的「分類及定位」比賽的單項冠軍。
· VGG網絡架構擅長圖像分類及圖像定位。
· VGG網絡含有19個層，其過濾器爲3x3（AlexNet的過濾器爲11x11，ZF網絡則爲7x7。）
· 簡單的深度結構對於分層特徵提取十分有效。
《Very Deep Convolutional Networks for Large-scale Image Recognition》，作者Karen Simonyan和Andrew Zisserman。
GoogLeNet — 2014/2015
GoogLeNet網絡架構（圖片來自題爲《Going Deeper with Convolutions》的研究論文）
· 以6.7%的失誤率取得了2014年ILSVRC的冠軍。
· 引入了「Inception單元」，強調了卷積神經網絡的層不需要每次都按照順序排列疊加。
「Inception單元」（圖片來自題爲《深入卷積》的研究論文）
· 含有22塊的網絡層（單獨看，每一塊含超過100個層。）
· 非全連接層
· GoogLeNet證明，優化的非連續結構的性能可能比連續結構的性能還要好。
《Going Deeper with Convolutions》，作者Christian Szegedy等人。
Microsoft ResNet — 2015
ResNet網絡架構（圖片來自題爲《Deep Residual Learning for Image Recognition》）
· 以3.6%的失誤率取得了2015年ILSVRC的冠軍。（據瞭解，普通人的失誤率大約爲5-10%，ResNet的準確度超過了人類水平。）
· ResNet網絡是有着152個層的「超深度」網絡架構。
· 引入了「殘差塊」以減少過擬合。
殘差塊（圖片來自題爲《Deep Residual Learning for Image Recognition》的研究論文）
《Deep Residual Learning for Image Recognition》，作者Kaiming He、Xiangyu Zhang等人。
伴隨着深度學習模型對人類能力的一次次超越，在未來幾年，我們一定能看到更多有趣的深度學習模型，及其重大成就。
「深度學習」是否等同於「卷積神經網絡」？
重新回顧上面的內容，你可能會有這樣的疑惑——「深度學習」是否就是「卷積神經網絡」呢？
答案：不全是。
事實上，下面的模型都被稱爲「深度學習」：
· 卷積神經網絡
· 深度玻爾茲曼機
· 人工神經網絡
· 堆棧式自編碼器
在以上的例子中，「卷積神經網絡」是「深度學習」領域最突出且定義最明確的，至少目前是這樣。但是，我們必須始終記住「卷積神經網絡」並不是「深度學習」的全部內容。
查看文章——《What is Deep Learning? 》。瞭解「深度學習」是怎麼來的，以及它與機器學習和人工智能有着什麼樣的關係。