TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation 读论文笔记

TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation

Abstract

当前方法

类似U-net的U形结构已经成为医学图像分割任务的约定俗成的标准，并取得了极大的成功。

U-net的缺陷

由于卷积运算的固有局部性，U-net在显示建模远程依赖性方面存在局限性。

缺陷解决方案-Transformer

为序列到序列预测而设计的Transformer，已经作为具有天生全局自我注意机制的替代架构出现，但由于低层细节不足，可能导致有限的定位能力。

提出TransUnet

优势：

1. 它同时具有变形金刚和U-Net的优点。
   和U-Net的优点，作为医学图像分割的一个强有力的选择。一方面，Transformer对来自卷积神经网络（CNN）特征图的标记化图像补丁进行编码，作为提取全局背景的输入序列。
   -解决了Unet的局部性特征提取问题
2. 另一方面，解码器对编码后的特征进行升采样，然后与高分辨率的CNN特征图相结合，以实现精确的定位。
   -解决了底层细节不足导致的定位能力不足问题。
   作者认为，Transformers作为一项新技术可以作为医学图像分割任务的强大的编码器，与U-net结合，通过回复局部空间信息俩增强更精细的细节，解决<