论文笔记Dual Cross-Attention for Medical Image Segmentation

最新推荐文章于 2025-11-12 13:56:44 发布
原创 最新推荐文章于 2025-11-12 13:56:44 发布 · 2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #图像处理 #人工智能

文章提出了一种名为DCA的双交叉注意力模块，用于增强基于U-Net的医学图像分割模型。DCA通过通道交叉注意（CCA）和空间交叉注意（SCA）捕获编码器和解码器特征之间的语义联系，解决了多尺度特征的空间和通道依赖性问题。实验表明，DCA能有效提升模型性能，适用于医学图像分析任务。

用于医学图像分割的双交叉注意力

        我们提出了双交叉注意力（DCA），一个简单而有效的注意力模块，能够增强基于U-Net的skip-connections架构，用于医学图像分割。DCA通过顺序捕获跨多尺度编码器特征的通道和空间依赖性来解决编码器和解码器特征之间的语义差距。

        首先，通道交叉注意（CCA）通过利用多尺度编码器特征的跨信道标记的交叉注意来提取全局信道依赖性。然后，空间交叉注意（SCA）模块执行交叉注意以捕获跨空间令牌的空间依赖性。最后，这些细粒度编码器特征被上采样并连接到它们对应的解码器部分以形成跳过连接方案。

        上图说明了提出的DCA块集成到一个通用的FCN架构skipconnections。DCA块的架构是不变的编码器阶段的数量（给定n+1个多尺度编码器级，DCA块将来自前n个级的多尺度特征作为输入，产生增强表示，并将它们连接到它们对应的n个解码器级）

        如下图a所示，DCA块分为两个主要阶段：第一阶段由多尺度补丁嵌入模块组成，以获得编码器令牌；在第二阶段，我们使用通道交叉注意（CCA）和空间交叉注意（SCA）模块对这些编码器令牌执行我们提出的DCA机制，以捕获长距离依赖性。最后，我们应用层归一化和GeLU序列并对这些令牌进行上采样，以将它们连接到它们的解码器对应物。

        论文对DCA块的有效性进行广泛的实验，使用六个基于U-Net的模型和五个基准的医学图像分割数据集。为了公平比较，对普通模型和DCA集成模型使用相同的训练设置，总体结果见下表：

 

 

SwinTransformer改进（6）：与Dual Cross-Attention结合的视觉模型
2401_82355416的博客
04-29 402
这个实现的核心是将Swin Transformer（一种高效的视觉Transformer）与创新的Dual Cross-Attention模块相结合，构建了一个强大的图像分类模型。基于Swin Transformer的骨干网络创新的Dual Cross-Attention模块增强特征表示灵活的分类头设计本文介绍的SwinTransformerWithDCA模型通过将Swin Transformer与创新的Dual Cross-Attention模块相结合，创造了一个强大的视觉分类架构。
【Attention】用于医学图像分割的双重交叉注意力
qq_43583311的博客
11-20 1464
提出了一种简单而有效的注意力模块--DCA，以改进基于 U-Net 架构的跳转连接方案，这种方案在编码器和解码器特征之间引入了语义鸿沟，限制了分割性能。交叉关注机制使模型能够捕捉不同尺度的依赖关系，从而获得更好的特征表征。
即插即用！CVPR 2025颠覆性模块SKC，双交叉注意力实现高效涨点
最新发布
2501_92747663的博客
11-12 1069
在医学图像分析领域，由于标注数据稀缺，半监督学习（SSL）已成为主流范式。然而，传统SSL方法在生成伪标签时，容易因标签不准确而损害解码器的性能，这一问题在类别不均衡的多器官分割任务中尤为突出，常导致小器官被欠分割甚至忽略。为应对此挑战，本文提出了SKCDF（A Semantic Knowledge Complementarity based Decoupling Framework），一个基于语义知识互补的解耦框架。该方法的核心思想是：首先，通过。
U-Net结构改进：双交叉注意力模块（DCA）
热门推荐
记录
05-07 2万+
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
U-Net Transformer：用于医学图像分割的自我和交叉注意力模块
weixin_43921949的博客
09-16 7601
U-Transformer
基于双重交叉注意的医学图像分割
qq_45745941的博客
04-06 4296
提出了双交叉注意(Dual Cross-Attention, DCA)，能够增强u - net架构下医学图像分割的跳过连接。DCA通过连续捕获跨多尺度编码器特征的通道和空间依赖关系来解决编码器和解码器特征之间的语义差距。
交叉注意力一脚踹进医学图像分割！新成果精度、效率表现SOTA
学姐带你玩AI的博客
06-21 2747
为解决传统方法的局限性，研究者们提出了交叉注意力机制能更有效地整合来自不同模态/尺度的特征，让模型同时捕捉全局和局部信息，加速学习并减少干扰。因此这种策略成为了目前医学图像领域的重要研究方向，为我们实现更高的综合性能提供了新的解决思路。本次分享，开源代码已附，论文创新点做了简单提炼，供大家参考学习寻找灵感。论文原文以及开源代码需要的同学看文末。
【论文阅读笔记】A Recent Survey of Vision Transformers for Medical Image Segmentation
寸先生的AI道路
12-18 2398
同时，还探讨了这些方法在不同医学图像模态（如CT、MRI、X射线等）中的实际应用，以及它们面临的挑战和未来的发展方向。这一部分从四个方面探讨了ViTs在医学图像分割中的应用，包括ViT在编码器（Encoder）、解码器（Decoder）、编码器-解码器中的应用，以及ViT在编码器和解码器之间的应用。本文中规中矩，对涉及到的方法只是简单陈列，并没有细致的优缺点探讨，可以作为寻找对应方向论文的一个参考，笔记中对涉及到的方法根据之前读文经历进行简单的优缺点归纳。ViT在解码器(decoder)中的应用。
【论文推送】跨域学习、跨域小样本学习Cross-Domain(持续更新...)
诸葛灬孔暗
08-13 4862
深度神经网络(DNN)的泛化性能相当依赖于训练集的规模(size)和丰富性(variations). 但是在很多场景下无法搜集到如此多的数据, 如皮肤病, 卫星图片(飞机残骸).尽管每种特殊的情况发生的概率很低, 人为处理的成本也很低, 但当我们有大量的”特殊情况”时, 问题就变得复杂了起来. 如何利用一个或一些成熟域上的先验知识，去解决另一个样缺少样本域上的复杂任务是跨域少样本学习 (Cross-Domain Few Shot Learning)研究的主要问题。 本文主要记录该领...
【论文阅读笔记】Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Syn
寸先生的AI道路
11-29 1531
Edge-Preserving Masked AutoEncoder：类似于MAE结构，但MAE由于只采用像素级损失，忽略了边缘轮廓情况，对于医学图像会影响性能，因此本文使用双decoder，以多任务方式训练，一个decoder输出还原的像素图像，另外一个输出边缘图，与Sobel算子提取的边缘对照。通过计算这些特征之间的差异，模块生成一个特征一致性损失（Feature Consistency Loss），用于量化合成图像和真实图像在感知层面的差异。）和相应的缺失模态真实图像（记为。
TMI 202107论文速递(IEEE Transactions on Medical Imaging)
sukeee的博客
07-03 2247
1. Segmentation-Renormalized Deep Feature Modulation for Unpaired Image Harmonization 用于不成对图像协调的分割重归一化深度特征调制 Mengwei Ren. Neel Dey. James Fishbaugh. Guido Gerig. 原文链接 “ Deep networks are now ubiquitous in large-scale multi-center imaging studies. Howev
基于交叉注意力和定制的放射真实异常生成的稳健且准确的胸部 X 射线肺分割器.zip
03-09
本项目是医学研究的demo，内含数据集和教程 基于交叉注意力和定制的放射真实异常生成的稳健且准确的胸部X射线肺分割器是一个利用深度学习技术来解决医学影像分析问题的研究课题。在这个上下文中，分割器是指一个算法，它能够分析胸部X射线图像并准确地分割出肺部区域。这个任务对于辅助放射科医生诊断疾病非常重要，因为准确的肺部分割可以帮助医生更好地分析肺部病变、结构变化等。 关键组件： 交叉注意力机制： 注意力机制是一种能够让模型关注图像中重要部分的技术，从而提高学习效率和性能。 交叉注意力尤其适用于多模态数据处理，比如在胸部X射线图像中，可以同时考虑图像的空间特征和纹理特征。 定制放射真实异常： 指的是利用特定的放射学知识来设计异常生成的方法，这可能包括基于病变特征的异常生成或者基于病史和临床信息的异常生成。 这种方法可以帮助模型更好地理解和学习正常和异常肺部结构的差异。
Dual Cross-Attention Learning for Fine-Grained Visual Categorization and Object Re-Identification
Howie_123的博客
11-14 2014
自我注意力机制能够捕获序列特征和全局信息，被广泛应用于各种NLP和CV任务中，并提高了其性能。本工作致力于研究若何将自我注意力机制进行扩展以更好地在识别细粒度物体（如不同种类的鸟或人的身份识别）时更好地对微妙的嵌入特征进行学习。为此，我们提出了与自我注意力学习相配合的双交叉注意力学习（DCAL）算法。首先，我们提出了全局-局部交叉注意力来促进全局图像和局部高响应图像区域之间的信息交互，这有助于加强空间上的识别线索。其次，我们提出了逐对交叉注意力（PWCA）来建立图像对之间的交互。
[Transformer]U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
qq_37151108的博客
10-27 9324
UNet Transformer:UNet结合自注意力和交叉注意力用于医学图像分割AbstractSection I IntroductionSection II U-Transformer NetworkSection III ExperimentsSection IV Conclusion Paper Abstract 对于一些复杂的、低对比度的组织做医学图像分割十分具有挑战性。本文提出一种U-Transformer网络，将Transformer中的self-attention和cross attent
U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
zjiafbaodaozmj的博客
09-06 1657
论文：https://arxiv.org/abs/2103.06104 主框架还是U-net，大体方向上改变了两个部分 encoder 和 skip encoder：U-net的encoder是基于CNN网络经过卷积和pooling不断去降低分辨率，扩大感受野，将信息从分辨率转换到通道上，提取更高级的encoder feature map. 本文在提取encoder feature map之前，增加了self attention利用特征之间的全局作用去获得contextual information.(本质
U-Net结构改进：双交叉注意力模块（DCA）——图像分割的新突破
2401_82355416的博客
03-13 1884
本文提出了一种新颖的双交叉注意力模块（DCA），并将其成功应用于U-Net架构中。实验结果表明，DCA模块能够有效捕捉长距离依赖关系和多尺度特征，显著提升图像分割的性能。未来，我们将从以下几个方面进一步探索DCA模块的潜力：1. 扩展到其他网络结构：将DCA模块应用于其他图像分割网络（如DeepLab、PSPNet等），验证其通用性。2. 应用于其他视觉任务：探索DCA模块在目标检测、图像生成等任务中的应用。3. 优化计算效率：进一步优化DCA模块的计算复杂度，使其更适合实际应用场景。
双交叉注意学习用于细粒度视觉分类和目标重新识别
qq_45745941的博客
04-09 1553
探索了如何扩展自注意模块，以更好地学习识别细粒度对象的微妙特征嵌入，例如，不同的鸟类物种或人的身份。方法提出了一种双交叉注意学习(DCAL)算法来协调自注意学习。首先，提出了全局-局部交叉注意(GLCA)来增强全局图像与局部高响应区域之间的相互作用，这有助于增强识别的空间识别线索。其次，提出了成对交叉注意(PWCA)来建立图像对之间的相互作用。PWCA可以通过将另一幅图像作为干扰物来规范图像的注意力学习，并在推理过程中被移除。
【论文笔记】MCANet: Medical Image Segmentation withMulti-Scale Cross-Axis Attention
AI爱好者的博客，分享计算机领域相关知识
12-20 5592
医疗图像分割任务中，捕获多尺度信息、构建长期依赖对分割结果有非常大的影响。该论文提出了 Multi-scale Cross-axis Attention（MCA）模块，融合了多尺度特征，并使用Attention提取全局上下文信息。
Unet 改进：添加双交叉注意力模块（DCA）
Henry的博客
02-05 834
交叉注意力允许一个序列中的元素关注另一个序列中的元素，常用于处理多模态数据（如图像和文本）。DCA包含两个交叉注意力模块，分别处理两个不同方向的信息交互，确保双向的信息流动和融合。使用模态B的特征作为查询，模态A的特征作为键和值，再次计算注意力权重并加权求和。反过来，图像特征作为查询，文本特征作为键和值，生成与图像相关的文本特征表示。使用模态A的特征作为查询，模态B的特征作为键和值，计算注意力权重并加权求和。例如，文本特征作为查询，图像特征作为键和值，生成与文本相关的图像特征表示。：适用于多种多模态任务。
Medical Transformer:Gated Axial-Attention for Medical Image Segmentation
04-30
<think>好的，我现在要帮助用户了解或实现Medical Transformer模型中的Gated Axial-Attention机制，特别是用于医学图像分割的部分。首先，我需要回忆一下用户提供的引用内容。用户引用了两篇资料，其中引用[1]是关于Medical Transformer的论文和代码库，而引用[2]列出了其他相关的分割模型，但用户主要关注的是Medical Transformer。 用户的问题具体是关于Gated Axial-Attention的实现，所以需要深入理解这个机制的工作原理。根据论文，Gated Axial-Attention结合了轴向注意力和门控机制，轴向注意力指的是在图像的两个轴上（比如行和列）分别应用自注意力，这样可以减少计算量，同时捕捉长程依赖。门控机制则可能用于调整注意力权重，增强重要特征，抑制不相关的部分。 接下来，我需要考虑如何将这个机制转化为代码实现。可能需要参考论文中的结构图和公式。例如，轴向注意力可能分为行注意力和列注意力两个部分，然后通过门控机制进行融合。门控可能使用sigmoid函数来生成0到1之间的权重，然后将这两个注意力输出加权相加。 然后，我需要检查用户提供的代码链接，确保代码结构正确。用户给出的GitHub仓库是jeya-maria-jose/Medical-Transformer，所以应该参考其中的实现。例如，可能在axial_attention.py或者类似的文件中找到Gated Axial-Attention的代码。 此外，需要注意医学图像的特点，比如高分辨率和局部细节的重要性，这可能影响模型的设计。例如，轴向注意力可以处理二维结构，而门控机制帮助模型专注于关键区域，这对分割任务很重要。 用户可能需要具体的代码示例，所以需要提供PyTorch的实现片段，包括轴向注意力的分解、位置编码的添加，以及门控机制的应用。同时，要解释每个部分的作用，比如如何计算查询、键、值，如何应用位置编码，如何生成门控权重，并融合行和列的注意力结果。 还需要考虑实现中的细节，比如如何将二维图像转换为序列以适应Transformer结构，如何处理位置信息，以及如何将轴向注意力模块集成到UNet等分割网络中。可能还需要讨论数据预处理、训练策略和损失函数的选择，比如结合Dice损失和交叉熵损失。 最后，用户可能对如何应用该模型到自己的医学图像数据感兴趣，所以需要给出训练和推理的步骤，比如加载数据、构建模型、设置优化器和训练循环等。同时，提供相关的参考文献和代码库链接，方便用户进一步查阅。</think>以下是为您整理的Medical Transformer中Gated Axial-Attention实现详解： ### 一、Gated Axial-Attention机制解析 1. **轴向注意力分解**：将2D自注意力分解为行、列两个1D注意力操作 $$ \text{Attention}(Q,K,V) = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}} + P)V $$ 其中位置编码$P$分解为$P_{row}$和$P_{col}$[^1] 2. **门控机制实现**： ```python class GatedAxialAttention(nn.Module): def __init__(self, dim, heads): super().__init__() self.row_att = AxialAttention(dim, heads, axis=0) # 行注意力 self.col_att = AxialAttention(dim, heads, axis=1) # 列注意力 self.gate = nn.Parameter(torch.ones(2)) # 可学习门控参数 def forward(self, x): row_out = self.row_att(x) col_out = self.col_att(x) # 门控融合 return torch.sigmoid(self.gate[0])*row_out + torch.sigmoid(self.gate[1])*col_out ``` ### 二、完整实现步骤 1. **特征序列化**：将2D医学图像转换为序列 ```python b, c, h, w = x.shape x_seq = x.view(b, c, h*w).permute(0, 2, 1) # [b, h*w, c] ``` 2. **位置编码注入**： ```python class AxialPositionalEmbedding(nn.Module): def __init__(self, dim, shape): super().__init__() self.row_emb = nn.Parameter(torch.randn(shape[0], dim//2)) self.col_emb = nn.Parameter(torch.randn(shape[1], dim//2)) def forward(self, x): return x + torch.cat([self.row_emb.unsqueeze(1), self.col_emb.unsqueeze(0)], dim=-1).flatten(0,1) ``` 3. **完整网络架构**（基于UNet框架）： ```python class MedicalTransformer(nn.Module): def __init__(self, in_ch=3, classes=2): super().__init__() self.encoder = nn.Sequential( ConvBlock(in_ch, 64), GatedAxialAttention(64, heads=4), Downsample(64, 128), GatedAxialAttention(128, heads=8), Downsample(128, 256) ) self.decoder = ... # 对称上采样结构 ``` ### 三、训练实践要点 1. **数据预处理**： - 医学图像标准化（CT值截断+归一化） - 随机旋转/翻转增强 - 器官特定ROI裁剪 2. **损失函数组合**： ```python loss = 0.5*DiceLoss()(pred, mask) + 0.5*CrossEntropyLoss()(pred, mask) ``` 3. **训练策略**： ```python optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=1e-5) scheduler = CosineAnnealingLR(optimizer, T_max=100) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值