TransUNet：用於醫學圖像分割的Transformers強大編碼器

2021-02-10 17:42:58.0

同時具有Transformers和U-Net的優點，性能優於AttnUNet、V-Net等網絡，代碼剛剛開源！（按這樣搞，TransVNet、TransYOLO應該也快來了，手動狗頭）

注1：文末附【Transformer】和【醫療影像】交流羣

注2：整理不易，歡迎點贊，支持分享！

TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation

作者單位：JHU, 電子科大, 斯坦福大學等
代碼： Beckschen/TransUNet
論文： https://arxiv.org/abs/2102.04306

醫學圖像分割是開發醫療保健系統（尤其是疾病診斷和治療計劃）的必要先決條件。在各種醫學圖像分割任務中，U形架構（也稱爲U-Net）已成爲事實上的標準，並取得了巨大的成功。但是，由於卷積運算的固有局部性，U-Net通常在明確建模遠程依賴關係方面顯示出侷限性。

設計用於序列到序列預測的transformer已經成爲具有先天性全局自注意力機制的替代體系結構，但由於low-level細節不足，可能導致定位能力受到限制。

在本文中，我們提出了TransUNet，它同時具有Transformers和U-Net的優點，是醫學圖像分割的強大替代方案。

一方面，Transformer將來自卷積神經網絡（CNN）特徵圖的標記化圖像塊編碼爲提取全局上下文的輸入序列。另一方面，解碼器對編碼的特徵進行上採樣，然後將其與高分辨率的CNN特徵圖組合以實現精確的定位。

我們認爲，藉助U-Net的組合，通過恢復局部的空間信息，可以將Transformers用作醫學圖像分割任務的強大編碼器。

算法細節，建議去看原文

實驗結果

TransUNet在各種醫療應用（包括多器官分割和心臟分割）上均比各種競爭方法具有更高的性能。

建了CVer-Transformer交流羣！想要進Transformer學習交流羣的同學，可以直接加微信號：CVer6666。加的時候備註一下：Transformer+學校+暱稱，即可。然後就可以拉你進羣了。

強烈推薦大家關注CVer知乎賬號和CVer微信公衆號，可以快速瞭解到最新優質的CV論文。

已建立CVer-醫療影像微信交流羣！想要進醫療影像學習交流羣的同學，可以直接加微信號：CVer9999。加的時候備註一下：醫療影像+學校+暱稱，即可。然後就可以拉你進羣了。

強烈推薦大家關注CVer知乎賬號和CVer微信公衆號，可以快速瞭解到最新優質的CV論文。