二十五章：TransUNet：Transformer为医学图像分割提供强大的编码器

&原文信息

原文题目：《TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation》

原文引用：Chen J, Lu Y, Yu Q, et al. Transunet: Transformers make strong encoders for medical image segmentation[J]. arXiv preprint arXiv:2102.04306, 2021.

原文链接：https://arxiv.org/pdf/2102.04306.pdfhttps://arxiv.org/pdf/2102.04306.pdf

0.摘要

        医学图像分割是发展医疗系统的重要先决条件，特别是对于疾病诊断和治疗计划。在各种医学图像分割任务中，U型架构，也称为U-Net，已成为事实上的标准，并取得了巨大的成功。然而，由于卷积操作的固有局部性，U-Net在明确建模长距离依赖性方面通常存在局限性。Transformer是为序列到序列预测而设计的，具有固有的全局自注意机制，但由于缺乏低级细节，可能导致定位能力有限。在本文中，我们提出了TransUNet，它将Transformer和U-Net结合起来，作为医学图像分割的强大替代方案。一方面，Transformer将经过令牌化的图像块从卷积神经网络（CNN）特征图中编码为输入序列，以提取全局上下文。另一方面，解码器将上采样的编码特征与高分辨率的CNN特征图相结合，实现精确的定位。我们认为，Transformer可以作为医学图像分割任务的强大编码器，通过结合U-Net来恢复局部空间信息，从而增强细节。TransUNet在多器官分割和心脏分割等不同医学应用中，取得了优于各种竞争方法的性能。代码和模型可在https://github.com/Beckschen/TransUNet获得。

1.引言

        卷积神经网络（CNNs），特别是全卷积网络（FCNs）[8]，已经在医学图像分割中占据主导地位。在不同的变体中，U-Net [12]由对称的编码器-解码器网络和跳跃连接组成，以增强细节保留，已成为事实上的选择。基于这一方法，已在广泛的医学应用中取得了巨大的成功，例如基于磁共振（MR）的心脏分割[16]，基于计算机断层扫描（CT）的器官分割[7,17,19]以及结肠镜视频中的息肉分割[20]。

        尽管基于CNN的方法具有出色的表征能力，但由于卷积操作的固有局部性，这些方法往往在建模明确的长程关系方面存在局限性。因此，这些架构通常对纹理、形状和大小在不同患者之间呈现大的变化的目标结构表现出较弱的性能。为了克服这一限制，现有研究提出了基于CNN特征的自注意机制[13,15]。另一方面，为了序列到序列预测而设计的Transformer已成为替代架构，它完全摒弃了卷积操作符，完全依赖于注意机制[14]。与之前基于CNN的方法不同，Transformer不仅在建模全局上下文方面具有强大的能力，而且在大规模预训练下游任务的可转移性方面表现出优越性。这一成功在机器翻译和自然语言处理（NLP）领域得到了广泛的验证[3,14]。最近，一些尝试也在各种图像识别任务中达到或甚至超过了最先进的性能[4,18]。

        在本文中，我们首次研究了在医学图像分割领域中应用Transformer的潜力。然而，有趣的是，我们发现简单地使用Transformer（即使用Transformer对令牌化的图像块进行编码，然后直接将隐藏特征表示上采样为完整分辨率的密集输出）无法产生令人满意的结果。

        这是因为Transformer将输入视为一维序列，并且在所有阶段都专注于建模全局上下文，因此导致低分辨率特征缺乏详细的定位信息。这些信息无法通过直接上采样到完整分辨率来有效恢复，因此导致分割结果较粗糙。另一方面，CNN架构（例如U-Net [12]）提供了提取低级视觉线索的途径，可以很