位於日本的國際電氣通信基礎技術研究所（ATR）的計算神經科學實驗室和京都大學日前聯合發佈了一篇論文，他們可以藉助 fMRI（功能性磁共振成像）技術和基於深度學習的算法根據人的大腦活動重建人類看到的圖像。我們把論文簡介如下
在論文《Deep image reconstruction from human brain activity》（根據人類大腦活動進行深度圖像重建）中，作者們介紹道：「這個重建算法可以從一張隨機圖像出發，迭代地優化其中的像素值，最終讓這張圖像經過深度神經網絡之後產生的特徵和大腦活動經過特徵解碼後得到的多層特徵類似。最終得到的優化圖像就可以看作是對大腦活動的重建。」
模型總體結構：用於提取圖像特徵的 DNN 網絡會提取圖像特徵，然後與解碼出的人類大腦活動特徵進行對比，根據兩者的誤差引導用於重建圖像的 DGN 網絡迭代優化圖像，最終得到重建結果。
爲了收集訓練數據，研究員們讓被試者觀看圖像，用 fMRI 記錄下他們當時的大腦活動。觀看的圖像樣本包括幾何圖形、自然世界照片和字母；採集數據前後共花了 10 個月時間。
重建出的部分圖像請見下方動圖。
逐步迭代生成重建圖像
英文字母的重建結果
作者們用了許多不同的圖像輸入做了測試。可以看到每個類別的重建結果都和原圖差別不小，但已經體現出了不小的區分度。考慮到 fMRI 能採集到的信息有限，同時人的視覺皮層的工作機理也還沒完全研究明瞭，這樣的結果已經足以令人眼前一亮了。
原論文地址：https://www.biorxiv.org/content/early/2017/12/30/240317
論文摘要：用基於機器學習的方法分析人類 fMRI 的圖樣模式已經讓可視化人類意識中的內容變得可能。不過，之前的研究都僅限於低層次的基礎圖像元素，或者只是成功匹配了典型樣例。近期的一些工作已經展現出，人類大腦視覺皮層的活動可以被解碼（翻譯）爲深度神經網絡的不同層級的特徵，這就給利用層次化視覺特徵帶來了新的方法。
在這篇論文中，作者們展示了一種全新的圖像重建方法：在採集人類大腦活動並將其解碼爲多層特徵之後，可以用優化手段生成新的圖像，讓新的圖像的深度神經網絡特徵和前面解碼出的特徵相似。作者們發現，這樣優化得到的圖像和輸入圖像（fMRI 成像期間給人類測試者看的刺激圖像）很類似，不僅圖像本身的外觀類似，對圖像中內容的主觀理解也類似。儘管作者們僅僅使用了日常照片訓練模型，他們的方法還是可以成功泛化到人造形狀的重建中，這表明他們的方法確實可以根據人腦活動「重建」或者「生成」圖像，而不是簡單匹配了典型樣例。在生成圖像過程中，生成模型附加了一些讓重建的圖像更且像自然圖像的限制，這樣就以一種高效的方法讓重建的圖像帶有了具有語意意義的細節。根據人類觀察的反饋，綜合神經網絡中多個不同的層的特徵形成的圖像比只用單個層的圖像具有更高的視覺質量。總的來說，這項研究表明人類大腦的層級化視覺信息可以被高效地綜合利用，重建出感知性的、主觀的圖像。
相關文章：
專訪腦機接口研究先驅米格爾 • 尼科萊利斯：馬斯克的觀點我不同意
近距離接觸類腦計算，看腦機接口如何走向腦機融合|CCF-ADL 新課報名中
DARPA 撥款 6500 萬美元用於腦機接口研發，一起來看各頂尖研究機構的腦洞