TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation（阅读笔记）

最新推荐文章于 2024-03-25 17:40:31 发布

GXU_PJM

最新推荐文章于 2024-03-25 17:40:31 发布

阅读量1.3k

点赞数 11

分类专栏： transformer 文章标签：计算机视觉神经网络机器学习

本文链接：https://blog.youkuaiyun.com/GXU_PJM/article/details/114438419

版权

TransUNet结合Transformer与U-Net，通过Transformer编码全局上下文，U-Net解码实现精确分割。在医学图像分割任务中表现出优于传统CNN的效果，尤其在多器官和心脏分割上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码：Beckschen/TransUNet
论文：https://arxiv.org/abs/2102.04306

Abstract

TransUNet:Transformers为医学图像分割做强大编码器。医学图像分割领域U-Net架构取得突出成果但在远程依赖关系上有局限，而序列预测transformer由于low-level细节不足导致定位能力受限，本文提出transformer与U-Net结合，transformer将CNN特征图编码为上下文序列，解码器对编码的特征上采样，再与高分辨率特征图结合实现精准定位，结合transformer的U-Net，是医学图像分割的有效方案。

Introduction

CNN特别是全卷积神经在医学图像分割领域主导地位，在一些变体中，像UNet用跳过连接方式的网络增强了细节上特征的保留，成功应用在医学图像处理领域。但是在质地形状等特征上的保留仍有局限性，因此，基于CNN特征提出self-attention机制，完全免除卷积运算符，完全依靠注意力机制,此前广泛应用与NLP，最近应用在图像识别上也颇有成效。

本文提出TransUNet，Transformer采用self-attention机制将来自卷积神经网络（CNN）特征图的标记化图像块编码为提取全局上下文的输入序列。然后为了弥补Transformers特征解析（encoder)带来的损失，TransUNet采用混合CNN-Transforme