5.23.9 TransUNet：Transformers 为医学图像分割提供强大的编码器

TransUNet，它兼具 Transformers 和 U-Net 的优点，作为医学图像分割的强大替代方案。一方面，Transformer 对来自卷积神经网络 (CNN) 特征图的标记化图像块进行编码，作为用于提取全局上下文的输入序列。另一方面，解码器对编码特征进行上采样，然后将其与高分辨率 CNN 特征图相结合以实现精确定位。

1. 介绍

U-Net 由对称的编码器-解码器网络组成，具有跳跃连接以增强细节保留，已成为事实上的选择。基于这种方法，在广泛的医学应用中取得了巨大的成功，例如磁共振（MR）的心脏分割、计算机断层扫描（CT）的器官分割和息肉从结肠镜检查视频中分割。

与之前基于 CNN 的方法不同，Transformers 不仅在建模全局上下文方面功能强大，而且在大规模预训练下也表现出了对下游任务的卓越可迁移性。

Transformer 将输入视为一维序列，并专门专注于对所有阶段的全局上下文进行建模，因此导致低分辨率特征缺乏详细的本地化信息。并且该信息无法通过直接上采样到全分辨率来有效恢复，因此会导致粗分割结果。另一方面，CNN 架构（例如 U-Net ）提供了一种提取低级视觉线索的途径，可以很好地弥补这种精细的空间细节。

1.1 TransUNet

该框架从序列到序列预测的角度建立了自注意力机制。为了弥补Transformers带来的特征分辨率损失，TransUNet采用了混合CNN-Transformer架构，既利用了来自CNN特征的详细高分辨率空间信息，也利用了Transformers编码的全局上下文。

Transformers编码的自注意力特征随后被上采样，与编码路径中跳过的不同高分辨率CNN特征相结合，以实现精确定位。与以前基于CNN的自注意力方法相比，我们基于Transformer的架构提供了一种更好的利用自注意力的方法。此外，我们观察到，更深入地结合低级特征通常会带来更好的分割精度。

2. 相关工作

2.1 将 CNN 与自注意力机制相结合

尝试通过基于特征图对所有像素的全局交互进行建模，将自注意力机制集成到 CNN 中。基于编码器-解码器 u 形架构，提出了集成到跳跃连接中的附加注意门模块。与这些方法不同的是，我们使用 Transformer 将全局自注意力嵌入到方法中。

2.2 Transformers

Vision Transformer (