ScribFormer: Transformer Makes CNN Work Better for Scribble-based Medical Image Segmentation

最新推荐文章于 2025-03-21 11:07:40 发布

原创

最新推荐文章于 2025-03-21 11:07:40 发布 · 1.2k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #cnn #深度学习

“ScribFormer: Transformer让卷积神经网络在基于涂鸦的医学图像分割任务中表现更佳”

最近的涂鸦监督分割方法通常采用具有编码器-解码器架构的卷积神经网络（CNN）框架。尽管该框架有多个优点，但通常只能通过局部感受野捕捉卷积层的小范围特征依赖性，这使得难以从涂鸦注释提供的有限信息中学习全局形状信息。为了解决这个问题，本文提出了一种新的CNN-Transformer混合解决方案，用于涂鸦监督的医学图像分割，称为ScribFormer。所提出的ScribFormer模型具有三分支结构，即CNN分支、Transformer分支和注意力引导的类激活图（ACAM）分支的混合。具体而言，CNN分支与Transformer分支协同工作，将从CNN学到的局部特征与Transformer获得的全局表示融合，可以有效克服现有涂鸦监督分割方法的局限性。此外，ACAM分支有助于统一浅层卷积特征和深层卷积特征，进一步提高模型的性能。在两个公共数据集和一个私有数据集上进行的大量实验证明，我们的ScribFormer在涂鸦监督分割方法方面表现优越，并且甚至比完全监督的分割方法取得更好的结果。代码已发布在 https://github.com/HUANGLIZI/ScribFormer。

在这里插入图片描述
图1. 不同方法在分割结果上的性能比较：(a) 输入图像、掩膜和涂鸦注释，(b) 基于CNN的完全监督方法（UNet++ [1]），© 基于CNN的涂鸦监督方法（UNet++），以及 (d) 我们提出的ScribFormer。