醫學圖像配準是醫學圖像處理任務中的關鍵步驟，具有重要的臨牀意義。醫學圖像配準即分別給定一張運動的和固定的 3D 醫學圖像，希望將運動圖像（moving image）配準到固定圖像（fixed image），如圖1所示。圖像可能來自相同或不同個體的三維腦 MRI 的二維切片。通過預測非線性變形場，我們可以將運動圖像變形爲變形圖像（warped image）。在理想情況下，變形圖像應該與固定圖像非常相似，即便它源自運動圖像。
圖1：醫學圖像配準
近年來，深度學習技術在醫學圖像配準中已經獲得了廣泛的應用。有監督學習方法的主要問題是流場真值（ground truth）很難獲得，即便對於醫學專家來說，醫學圖像配準的成對相關像素點也難以標註；而無監督學習方法能夠利用可導的 STN（spatial transformer），以在變形圖像和固定圖像之間測得的圖像相似性爲優化目標，能夠利用臨牀中廣泛的原始數據且無需標註。然而現有算法只能學習將運動圖像一次性對齊到固定圖像，對於變形大、變化複雜的配準效果較差。
本文提出了一種深度遞歸級聯的神經網絡結構，可以顯著提高無監督配准算法的準確率。圖2是用於肝臟配準的遞歸級聯網絡效果圖。運動圖像通過一次次微小的遞歸配準，最後與固定圖像對齊。每個子網絡的輸入都是變形後的圖像和固定圖像，預測一個流場Φ。通過深度的遞歸迭代，最終的流場可以被分解爲簡單、輕微的漸進變化，大大降低了每個子網絡的學習難度。
圖2：用於肝臟配準的遞歸級聯網絡效果圖
遞歸級聯網絡可以構建於任何已有的基礎網絡之上，通過無監督、端到端的方式學習到深度遞歸的漸進配準。除此之外，我們還提出了一種 shared-weight 級聯技術，可以在測試中直接增加遞歸深度並提高準確率。
我們在肝臟 CT 圖像和腦 MRI 圖像上都做了算法評測，使用了多樣的評價指標（包括 Dice 和關鍵點）。我們的實驗證明遞歸級聯的結構對於兩種基礎網絡（VTN 和 VoxelMorph）的作用都非常顯著，並且在所有數據集上都超過了包括 SyN 和 B-Spline 在內的傳統算法。
我們的核心思想是通過深度遞歸級聯結構實現漸進式對齊的無監督端到端學習。在圖2所示情況下，運動圖像與固定圖像有很大的不同，這表明流場真值應該非常複雜並且可能很難預測。但是，我們的遞歸級聯網絡可以將這一困難的學習過程分解爲漸進的部分，使每對之間的流場變得簡單易學。
另一方面，從模型的流場合成效果圖（圖3）中可以看出，前面的子網絡主要學習到了全局的配準，而後面的子網絡起到了完善細節的作用。最終的流場確實可以分解爲相當簡單的部分。
圖3：流場合成效果圖
深度遞歸級聯的網絡結構如圖4所示。運動圖像通過每個子網絡的預測流場依次變形，最後與固定圖像對齊，此過程是遞歸的，每個子網絡都學習對當前的變形圖像的漸進式配準。
我們與其它算法的主要區別在於，遞歸級聯網絡的優化目標只有最後兩張圖像的相似度，從而賦予了所有子網絡共同學習漸進式配準的能力。可導的變形操作使得整個端到端系統在無監督的情況下共同訓練成爲可能。在遞歸結構的基礎上，我們提出一種附加的 shared-weight 級聯技術，可以在測試中直接增加遞歸深度並提高準確率。
圖4：遞歸級聯網絡
我們使用 Dice 和關鍵點距離（Landmark Dist.）兩種評估指標進行了廣泛的實驗，並在多個數據集上進行了算法評測，包括肝臟 CT 圖像和腦 MRI 圖像。
我們基於兩種基礎網絡 VTN 和 VoxelMorph 構建了遞歸級聯網絡（遞歸級聯網絡可以構建於任何基礎網絡之上，並不侷限於 VTN 和 VoxelMorph）。表1總結了我們與傳統算法以及與基礎網絡相比的總體性能。可以看到，遞歸級聯網絡在所有數據集中的 Dice 和關鍵點距離均顯著優於現有方法。
表1：實驗結果
圖5的三個子圖說明了關於不同數量級聯的實驗結果。隨着級聯數量的增加，模型的表現呈上升趨勢。
圖5：不同級聯數量下 Dice 和關鍵點距離的變化趨勢
那麼，直接增加通道數或者卷積深度能否起到和網絡級聯一樣的效果呢？例如，VoxelMorph（VM）提出將卷積層中的通道數加倍（VM x2）可以獲得更好的性能。作爲對比，我們通過將卷積層的深度加倍來構造 VM-double，還構造了一種同樣將深度加倍的編碼器-解碼器-編碼器-解碼器的網絡結構（VM xx2），VM xx2 與 2-cascade VM 的結構除了變形操作之外都是相似的。這些 VM 變種相比於 2-cascade VM 都具有相同或更多的參數數量。從表2中可以看出，VM 變種的表現都不如 2-cascade VM，甚至還不如直接 shared-weight 的 2x1-cascade VM。該實驗表明，我們的改進本質上是基於所提出的遞歸級聯結構，而不是簡單地引入更多參數。
表2：遞歸級聯網絡與其它 VoxelMorph 網絡變種的對比
圖6中顯示了使用不同方法預測的流場。可以看出，我們預測的流場與其它算法相比具有更精細的細節，從而產生了更準確的變形圖像。
圖6：預測流場可視化
我們提出了一種深度遞歸級聯的網絡結構，應用於無監督端到端的醫學圖像配準。該網絡結構簡單且易於訓練，功能強大且易於推廣。與其它方法相比，遞歸級聯網絡帶來了顯著的性能提升。憑藉良好的性能優勢、無監督方法的普遍適用性、以及獨立於基礎網絡的一般性，我們期望遞歸級聯網絡可以在醫學圖像配準任務中得到更廣泛地應用。
瞭解更多技術細節，請點擊https://github.com/microsoft/Recursive-Cascaded-Networks訪問 GitHub 主頁。