谷歌《Cell》論文:光學顯微鏡+深度學習=熒光顯微鏡

 2018-04-16 16:55:00.0

在生物和醫學領域,研究員們常運用顯微鏡來觀察肉眼無法獲得的細胞細節信息。雖然運用透射光顯微鏡(對生物樣本單側照射生成像),觀察起來相對簡單且活體培養樣本具有良好耐受性,但是其生成的圖像難以正確評估。熒光顯微技術中會用熒光分子染色需要觀察的目標(比如細胞核),這種做法能簡化分析過程,但其仍需要複雜的樣品製備。隨着包括圖像質量自動評估算法和協助病理醫師診斷癌組織在內的機器學習技術在顯微鏡領域的應用越來越廣泛,谷歌因此考慮是否可以結合透射光顯微鏡和熒光顯微鏡這兩種顯微鏡技術來開發一種深度學習系統,從而最大限度降低兩者的不足之處。

4 月 12 日,谷歌發表了結合透射光顯微鏡和熒光顯微鏡這兩種顯微鏡技術,並利用深度學習來對顯微鏡細胞圖像進行分色熒光標記的研究博文,我們將其研究內容編譯如下:

4 月 12 日出版的《Cell》 雜誌上刊登了谷歌的論文《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》,其中展示了深層神經網絡能夠通過透視光圖像來預測其熒光圖像,無需修改細胞就可以生成有標籤的、有用的圖像,這將使得對未修改的細胞做長期追蹤分析、在細胞治療中最大程度減少侵入性的細胞檢查、以及同時運用大量標籤進行分析成爲可能。對於這項研究,谷歌開源了網絡設計、完整的訓練數據和測試數據、經過訓練後的模型檢查點以及示例代碼。

研究背景 

透射光顯微鏡技術雖然易用,但是其也會生成難以分辨的圖像。例如,下圖就是一張相襯顯微鏡得到的圖像,其中像素的顏色深度表示了光線穿過樣本時相位變化的程度。

谷歌《Cell》論文:光學顯微鏡+深度學習=熒光顯微鏡

上面圖像均爲自多能幹細胞的人體運動神經元培養物在透射光顯微鏡下(運用相位對比法)觀察到圖像。示例圖 1:示的可能爲神經元細胞。示例圖 2:觀察圖像的缺陷致掩蓋了其下方的細胞。示例圖 3:神經突圖像。示例圖 4:可能爲死亡細胞。上圖比例尺:40μm。上述圖像以及數字均來自斯通研究所的 Finkbeiner 實驗室。

在上圖中,很難分辨出示例圖 1 的細胞羣中的單元數量,或者示例圖 4 中細胞的位置和狀態(提示:上部中間位置有一個幾乎不可見的扁平細胞)。同時也很難始終讓精細結構保持在對焦範圍內,比如示例圖 3 中的神經樹突。

我們可以通過採集不同 z 高度的圖像來獲取透射光顯微鏡下的更多信息:一組關於(x,y)位置的圖像,控制其中的 z(距離攝像機的距離)系統地變化。這導致細胞的不同部分對焦或者脫焦,從而提供了樣本細胞的 3D 結構信息。不幸的是,通常只有有經驗的分析人員才能看懂這不同高度的圖像,如何分析這樣的不同高度圖像也是自動化分析過程的巨大挑戰。下面即爲一個 z 堆棧示例圖。

谷歌《Cell》論文:光學顯微鏡+深度學習=熒光顯微鏡

相同細胞的相位對比 z 堆棧。需要注意,當焦點轉移時細胞外觀將發生如何變化。我們現在可以觀察到示例圖 1 右下角的模糊形狀是一個單一的橢圓形單元,示例圖 4 最有的細胞要比最上面的細胞高,這可能表明它已經經歷了細胞程序性死亡。

相比上圖的透視光圖像,下方用熒光顯微鏡觀察到的圖像就容易分析多了,因爲研究人員將想觀察的內容容用熒光進行了精心標記。例如,絕大多數人類細胞只有一個細胞核,因此可以進行細胞核標記(如下圖的藍色標記),這也就使利用簡單工具統計圖像中的細胞數量成爲可能。

谷歌《Cell》論文:光學顯微鏡+深度學習=熒光顯微鏡

上面是同一細胞在熒光顯微鏡下的圖像。藍色熒光標記 DNA 以突出細胞核。綠色熒光標記僅存在樹突中的一種神經子結構的蛋白質。紅色熒光標記僅存在軸突中的另一種神經子結構的蛋白質。分色熒光標記幫助研究人員可以更加容易地瞭解樣本。例如,通過例圖 1 中的綠色和紅光熒光標記,可以確認這是一個神經羣集。例圖 3 中的紅色熒光標籤代表的是軸突而非樹突。例圖 4 中左上角藍色的熒光標記揭示了,之前通過光透視顯微鏡難以觀察到的細胞核,而左側的細胞缺乏藍色熒光標記,因此它爲無 DNA 細胞碎片。

同時,熒光顯微鏡也存在明顯的硬傷。首先,樣本的製備和對其進行熒光標記本身就帶來了複雜性和可變性。其次,當樣本中存在許多且不同的熒光標記時,光譜的重疊會導致難以分辨哪種顏色對應哪種標記。所以通常會限制研究人員在同一樣本中同時使用三或四個標記,以免造成混淆。第三,熒光標記可能對樣本細胞產生毒性,有時還會致其死亡,這個缺陷也使熒光標記在需要長時間觀察細胞的縱向研究中難以得到。

與深度學習同行,看到更多可能

 在谷歌的這篇論文中,作者們展示了深度神經網絡可以根據透射光 z 堆棧來預測其分色熒光圖像。爲此,我們創建了投射光 z 堆棧與分色熒光圖像匹配的數據集,並訓練神經網絡根據投射光 z 堆棧來預測其分色熒光圖像。下面就是這一訓練過程的圖示介紹。

谷歌《Cell》論文:光學顯微鏡+深度學習=熒光顯微鏡

這是訓練系統的概述:(A)爲訓練實例的數據集:同一樣本畫面裏 z 堆棧的透射光圖像和熒光標記圖像的像素匹配集。使用不同顏色熒光進行標記產生的熒光標記圖像,隨着不同訓練實例的切換而改變顏色變化;其中的類似棋盤圖像因未給定實例而無熒光標記。未經訓練的深度網絡(B)在對數據 A 進行預測,訓練之後再對數據 A 進行預測就變成了(C)。數據 A 的投射光 z 堆棧圖像(D)。(E) :利用訓練後的深度神經,根據 A 數據的每一個新圖像像素信息(D)來預測 A 數據的熒光標記(C)。

該研究過程中,谷歌由 Inception 的模塊化設計獲得靈感,開發了一種由三種基本構建塊組成的新型神經網絡:第一種,保持比例的模塊配置,它不會改變特徵的空間尺度大小;第二種,縮小比例的模塊配置,它會把空間比例縮放爲 2 倍;第三種,放大比例,它會把空間比例縮放爲一半。這使得將網絡架構設計難題設計成兩個更爲簡單的問題:構建塊(宏架構)的安排部分和構建塊本身(微架構)的設計部分。谷歌使用本文前面討論的設計原則解決掉了第一個問題,第二個問題則是利用 Google Hypertune 的自動搜索來實現。

爲了保證本研究方法合理,谷歌使用了來自 Alphabet 實驗室以及兩個外部合作伙伴的數據對模型進行了驗證:Gladstone 研究所 Steve Finkbeiner 實驗室和哈佛 Rubin 實驗室。這些數據涵蓋了三種透射光成像模式(明場,相差和微分干涉對比)和三種培養類型(來自誘導多能幹細胞的人體運動神經元,大鼠皮質培養物和人體乳腺癌細胞)。谷歌發現,該方法可以準確預測包括細胞核,細胞類型(如神經)和細胞狀態(如細胞死亡)在內的幾種熒光標記。下圖顯示了該模型在將神經元示例的透射光輸入後,得出的分色熒光標記預測結果。

輸入神經元示例的透射光-輸出熒光標記預測結果

谷歌《Cell》論文:光學顯微鏡+深度學習=熒光顯微鏡

示例圖顯示了投射光和熒光標記成像的相同細胞圖像,以及谷歌模型對其預測生成熒光標記。儘管輸入的圖像存在僞像(記號 2 圖像),但是模型依舊預測生成了正確的熒光標記。(記號 3 圖像)根據細胞之間的最近距離推測出這些爲軸突。(記號 4 圖像)顯示了頂部難以發現的細胞,並將左側的物體正確地標記識別爲無 DNA 細胞碎片。

自己親自動手試試吧! 

谷歌已經開源了該模型、完整數據集、訓練、推理代碼以及一個示例。谷歌還聲稱,只需藉助最少的額外數據訓練就能生成新標註/標籤:在相關論文和示例代碼中,谷歌展示了根據單張圖像就可學會生成熒光標記。這要歸功於遷移學習:如果模型已經掌握了類似任務,那麼模型就可以更快地學習新任務,並使用更少的訓練數據。

谷歌希望能夠在不修改細胞的情況下生成標記的,有用的圖像,這也將爲生物學和醫學研究開創全新的實驗類型。如果你希望在自己的研究中嘗試這項技術,可以請閱讀《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》論文或者前往 github 頁面查看模型代碼!

via Google Research Blog

文章來源:雷鋒網