用双注意力模块来做语义分割

Da-transunet:将空间和通道双重关注与Transformer u-net相结合用于医学图像分割 在本文中,我们创新性地提出了一种新的图像分割方法,该方法是在TransUNet的体系结构中将da块与Transformer集成在一起。针对特定图像位置和通道特征的da块被进一步集成到跳跃连接中,以提高模型的性能。我们的实验结果,经过广泛的消融研究的验证,表明模型的性能在不同的数据集,特别是Synapse数据集的显著改善。我们的研究揭示了da块在增强Transformer的特征提取能力和全局信息保持方面的潜力。数据块和Transformer的集成在不产生冗余的情况下,大大提高了模型的性能。 阅读详情

作者|Umer Rasheed  编译|ronghuaiyang

导读

本文对双注意网络进行场景分割进行简要概述。

论文链接:https://arxiv.org/abs/1809.02983

图1,双注意力网络

本文认为,尽管编码器-解码器结构是一种标准的语义分割方法,近年来取得了很大的进展,但它严重依赖于局部信息,可能会带来一些偏见,因为无法看到全局信息。本文基于自注意机制,通过捕获丰富的上下文依赖关系来解决这一问题。

本文提出了双注意网络(DANet),该网络在扩展的FCN基础上附加两个注意力模块(位置注意力模块和通道力注意模块),分别在空间维度和通道维度上建模语义相关性。位置注意力模块选择性地聚合所有位置的特征。相似的特征是相互关联的,无论它们的距离如何。同时,通道注意力模块选择性地强调相互依赖的通道图。该网络将两个注意模块的输出相加,进一步改进特征表示,从而提高语义分割的准确性。

下文概述了下列情况:

  • 双注意力网络

  • 位置注意力模块

  • 通道注意力模块

  • 实验结果

图1表示了图像通过一个带膨胀的残差块的整体网络。然后将扩展后的网状区域的局部特征输入两个并行卷积层,分别传递到位置注意力块和通道注意力块。两个注意力模块的输出通过另一个卷积层进行变换,计算元素和完成特征融合。最后通过卷积层生成最终的预测图。

图2,位置注意力模块

为了在局部特征上模拟丰富的上下文关系,引入了位置注意力模块。位置注意力模块将范围更广的上下文信息编码为局部特征,从而增强了局部特征的表示能力。

在位置注意力模块中,给定一个局部特征a∈R (C×H×W),首先将其输入一个卷积层,分别生成两个新的特征图B和C,其中{B, C}∈R (C×H×W)。然后这些特征图reshape为R (C×N),其中N = H×W是像素的数量。然后在C与B的转置之间进行矩阵乘法,应用softmax层计算空间注意力图S∈R(N×N)。两个位置的特征表示越相似,它们之间的相关性就越大。同时,将特征图A送入卷积层,生成新的特征图D∈R(C×H×W),并将其reshape为R(C×N)。然后在D和S的转置之间进行矩阵乘法,并将结果reshape为R (C×H×W)。最后,将其与尺度参数α相乘,并与特征图A进行元素求和运算,得到最终输出E∈R (C×H×W)。将尺度参数α初始化为0,逐步学习权值。

图3,通道注意力模块

每个高级特征的通道图都可以看作是一个类特有的响应,不同的语义响应之间相互关联。通过利用通道图之间的相互依赖性,可以强调相互依赖的特征图,并改进特定语义的特征表示。因此,提出了一个通道注意例模块来显式地建模通道间的相互依赖性。

在通道注意力模块中,通道注意力图X∈R (C×C)是从原始特征图A∈R (C×H×W)中直接计算出来的。具体来说,将A reshape 成R(C×N),然后将A与A的转置进行矩阵乘法,最后应用softmax层得到通道注意力图X∈R(C×C)。此外,在X和A的转置之间进行矩阵乘法,其结果被reshape为R (C×H×W)。然后将结果与尺度参数β相乘,并与A进行元素求和运算,得到最终输出E∈R (C×H×W)。参数β从0逐步学习权值。

注意,注意力模块很简单,可以直接插入到现有的FCN管道中。

本文分别对有注意模力块和没有注意力模块时的结果进行了详细的比较。本文进行了一项全面的消融研究,将结果与其他最先进的语义分割网络进行比较。

图4,在Cityscapes数据集上可视化位置注意力的结果

图5,在Cityscapes数据集上的通道注意力的可视化结果

消融实验表明,双注意力模块能有效地捕获长距离上下文信息,并给出更精确的分割结果。注意力网络在4个场景分割数据集上均取得了优异的性能。

英文原文:https://umerrasheed.medium.com/review-dual-attention-network-for-scene-segmentation-1be813289ca4

U-Net结构改进:双交叉注意力模块(DCA) 本文由迈阿密大学的研究团队于2023年3月30日发表,提出了双交叉注意力模块(Dual Cross-Attention , DCA),其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体,能够简单而有效地增强u-net结构中的跳跃连接(skip-connection)。 阅读详情

相关推荐

PyTorch实战:手把手教你复现DAnet语义分割模型(附CamVid数据集训练技巧)

本文提供了一份详尽的PyTorch实战指南,手把手教你从零复现DAnet语义分割模型。内容涵盖环境搭建、核心的双注意力模块(PAM与CAM)代码实现与调试要点、CamVid数据集的高效处理与增强技巧,以及包含损失函数设计、学习率调度和多GPU训练在内的完整训练调优策略,旨在帮助读者攻克训练难点,获得可观的模型精度。

weixin_29041195的博客 211

【论文介绍】:用双注意力模块来做语义分割

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Umer Rasheed编译:ronghuaiyang导读本文对双注意网络进行场景分割进行简要概述。论文链接:https:/...

AI公园 1635

解码实时语义分割:PP-LiteSeg如何通过FLD与UAFM重塑轻量级模型设计

本文深入解析了PP-LiteSeg在实时语义分割领域的创新设计,重点介绍了其核心模块FLD(灵活轻量解码器)与UAFM(统一注意力融合模块)如何实现精度与速度的平衡。通过动态通道调整和双注意力机制,PP-LiteSeg在Cityscapes数据集上达到72.0% mIoU精度和273.6 FPS的推理速度,为工业质检、自动驾驶等场景提供高效解决方案。

weixin_29061821的博客 388

一文详解self-attention机制在语义分割中的应用(含论文解析)

Table of Contents 背景 Self-Attention Mechanism 论文解析 DANet CCNet ISSA 关于1×1卷积的作用:1×1 卷积 背景 语义分割经历多年的发展,提出了FCN、U-Net、SegNet、DeepLab等一大批优秀的语义分割网络。但是FCN等结构限制了局部感受野的范围和短距离上下文信息,传统的深度卷积神经网络主要通过叠加多个卷...

qq_37935516的博客 1万+

从感知到解耦:MANet如何用类内/类间注意力重塑航拍语义分割

本文深入解析MANet在航拍语义分割中的创新应用,通过多尺度特征提取和类内/类间注意力机制(IIRR模块),有效解决了尺度剧烈变化和视角畸变等挑战。MANet模拟人类视觉系统,显著提升小物体识别精度,在SpaceNet数据集上mIoU比DeepLabv3+高出23.4%,特别适用于智慧城市等复杂场景。

weixin_29043895的博客 183

用PyTorch复现MANet:手把手教你搞定遥感图像多尺度语义分割(附代码解读)

本文详细介绍了如何使用PyTorch复现MANet模型,实现遥感图像的多尺度语义分割。通过解析多尺度特征提取器、双注意力模块(DA)和协同学习机制,帮助开发者掌握前沿技术。文章包含完整的代码解读和训练技巧,适用于计算机视觉和遥感图像处理领域的研究与应用。

weixin_30872157的博客 286

【东南大学学报 ( 自然科学版 )】基于双注意力模块的FDA-DeepLab 语义分割网络

我认为这篇文章就是将空间和通道上下文信息交换结合起来了,在deeplab网络上增加一个模块得到了一点精度的提升,理解起来不太难。

ZDrawer的博客 419

全卷积注意力机制神经网络的图像语义分割

研究人员提出了一系列基于完全卷积神经网络的方法,但是随着卷积和池化的持续性下采样,图像的上下文信息将会丢失,影响了像素级分类。该方法利用计算高级特征图像素之间的联系来获取全局信息,增强像素之间的相关性,再结合空洞空间金字塔池化进一步提取图像的特征信息。针对图像的高层特征图像素丢失的问题,提出了基于图像不同层级的注意力方法。该方法将高层特征图中的信息作为指导对低层特征图中隐藏的信息进行挖掘,然后和高级特征图进行融合,充分利用高级特征图信息和低级特征图的信息。两个池化不一定对补偿边缘细节的任务有相同的贡献。

罗伯特技术屋 480

DANet模型架构详解:从ResNet骨干到注意力模块的完整设计

DANet(Dual Attention Network)是一种专为场景分割任务设计的深度学习模型,通过创新的双注意力机制显著提升了语义分割精度。本文将深入解析DANet的核心架构,从ResNet骨干网络到双注意力模块的设计原理,帮助读者全面理解这一CVPR 2019年提出的经典模型。 ## 一、DANet模型整体架构 DANet的核心创新在于将空间注意力(Position Attention

gitblog_00567的博客 686

双注意力模块DAB详解及代码复现

这种设计将不同尺度的互补空间-通道注意力统一到一个统一的块中,有效整合了局部模式、上下文关系和缩放动力学,从而提高了模型的分割能力。这种设计不仅减少了模型的复杂度,还提高了模型的性能,为资源受限环境中的应用提供了可能。这种两阶段方法将不同尺度的互补空间-通道注意力统一到一个统一的块中,有效整合了局部模式、上下文关系和缩放动力学,从而提高了模型的分割能力。这种两阶段方法将不同尺度的互补空间-通道注意力统一到一个统一的块中,有效整合了局部模式、上下文关系和缩放动力学,从而提高了模型的分割能力。

hasakie的博客 650

YoloV10改进策略:注意力改进|DeBiFormer,可变形双级路由注意力|引入DeBiLevelRoutingAttention注意力模块(全网首发)

本次改进的核心在于将DeBiLevelRoutingAttention模块嵌入到YoloV10的主干网络中,具体位置是在PSA(Spatial Pyramid Pooling Fast)模块之后。这一设计充分利用了DBRA模块在捕获长距离依赖关系和语义信息方面的优势,使得YoloV10在保持高效推理速度的同时,显著提升了目标检测的准确性和鲁棒性。

m0_47867638的博客 777

DeBiFormer:带有可变形代理双层路由注意力的视觉Transformer

带有各种注意力模块的视觉Transformer在视觉任务上已表现出卓越的性能。虽然使用稀疏自适应注意力(如在DAT中)在图像分类任务中取得了显著成果,但在对语义分割任务进行微调时,由可变形点选择的关键值对缺乏语义相关性。BiFormer中的查询感知稀疏注意力旨在使每个查询关注前kkk个路由区域。然而,在注意力计算过程中,所选的关键值对受到过多不相关查询的影响,从而降低了对更重要查询的关注度。

m0_47867638的博客 1290

【语义分割|代码解析】ABCNet: Attentive bilateral contextual network 基于注意力双边上下文网络的高分辨率遥感图像高效语义分割

【语义分割|代码解析】ABCNet: Attentive bilateral contextual network 基于细心双边上下文网络的高分辨率遥感图像高效语义分割

985小水博的摸鱼日常 1367

【论文笔记】DTCDSCN:基于双任务约束的孪生卷积神经网络的变化检测模型

本文是论文《Building Change Detection for Remote Sensing Images Using a Dual Task Constrained Deep Siamese Convolutional Network Model》的阅读笔记。 文章解决的是建筑物变化检测问题。在该问题中,由于提取的特征不足够具有辨别性,因此导致识别出的区域不完整或者区域边界不规则。为了解决该问题,文章提出了一个双任务约束的孪生卷积神经网络(dual task constrained deep Si

zuzhiang的博客 4386

H3C-HCL模拟器-STP生成树协议实验

边缘接口的存在是为了提高网络的收敛速度和性能。由于边缘接口连接的是终端设备,这些设备通常不会产生环路,因此不需要参与生成树协议的计算和决策。边缘接口通常是指那些不会连接到其他交换机或生成树的冗余路径的接口。H3C交换机千兆口的cost默认是20,把SW2的g1/0/2接口的cost改为100;SW4是根网桥,根据STP计算,闭塞端口应该在SW1上;方法:使得SW2到SW1的cost比SW4到SW1更大;7)修改配置:把SW1连接PC的所有接口配置为边缘接口。协议的计算开销,提高网络的收敛速度。

网络工程 2997

工程师必看:如何用MINITAB快速计算传感器寿命(附详细步骤)

本文为工程师提供了使用MINITAB软件快速计算传感器寿命的详细实战指南。文章重点阐述了如何通过数据预处理、回归分析拟合阿伦尼斯模型,并最终预测平均寿命与置信区间,帮助工程师高效处理加速寿命试验数据,提升可靠性分析工作的准确性与效率。

weixin_29296241的博客 248

深度学习篇---CBAM模块

CBAM(卷积块注意力模块)是一种混合注意力机制,通过结合通道和空间维度优化特征提取。它在SENet基础上扩展,采用双池化策略(平均池化和最大池化)和顺序处理结构(先通道后空间),实现更全面的特征优化。CBAM具有轻量级、即插即用特性,在图像分类、目标检测等任务中显著提升性能,同时保持较低计算开销。相比仅关注通道的SENet,CBAM的双维度注意力机制能更准确地聚焦关键特征区域。

在你不想做的时候,正是应该做的时候。 1827

全国大学校园网—拓扑图欣赏

全国大学网络拓扑图(一百张) 典型十张 1、 中央财经大学 2、国防科技大学 3、济南大学 4、西安石油大学 5、南通大学IPV6网络 6、中国矿业大学 7、青海师范大学 8、内蒙古科技大学 9、三峡大学 10、中共江苏省党校 剩余90张 点赞、评论获取 ...

LiBai'S BLOG 5万+

Win10+Pytorch1.0编译并训练语义分割网络DANet(双注意力机制)

最近研究语义分割,阅读了dual attention的文章,于是想尝试跑跑源码。结果过程异常艰辛,辛辛苦苦花了好几天时间编译,踩过的坑不计其数,不过还好最后编译成功。这里记录下几个主要的坑,希望能够帮助相关研究的同志们。 先说一下自己的平台和配置: Win10, CUDA10, Pytorch1.0, python:3.7, Anaconda3 DANet地址:https://github.com...

SeeIdea的博客 1万+

ADS版图优化中的参数化设计技巧

本文详细介绍了在ADS中进行射频电路版图参数化设计的核心技巧。通过将版图关键尺寸定义为变量,并与电磁仿真及优化器联动,实现从手动修改到自动迭代的转变,极大提升了PA、LNA等电路的设计与优化效率。文章以阶梯阻抗变换器为例,阐述了变量创建、绑定及协同仿真的完整流程,并提供了避免网格冲突、变量混乱等常见问题的实用指南。

weixin_29296241的博客 405

在ROS中使用行为树

在ROS中使用行为树 我提供的工程示例文件: demo链接 文章目录在ROS中使用行为树0、 学习本教程的前提1、 behaviorTree 库安装(ROS使用下的安装方式)2、 处理 behaviortree 库并准备好 service 和 ros action2.1 对ROS 的 service 和 action 进行封装,使其在 behaviortree 上使用更加方便。2.2 创建一个 service 和一个 action2.3 创建与决策树相关的数据类型2.4 修改`package.xml`文件2

qq_37416258的博客 6380

旷视科技提出双向网络BiSeNet:实现实时语义分割

全球计算机视觉三大顶会之一 ECCV 2018 (European Conference on Computer Vision)即将于9月8 -14日在德国慕尼黑拉开帷幕。届时,旷视首席科学家孙剑博士将带领团队远赴盛会,助力计算机视觉技术的交流与落地。而在此之前,旷视科技将陆续推出 ECCV 2018 接收论文系列解读。 论文名称:BiSeNet: Bilateral Segmentatio...

weixin_41876817的博客 1701

用Stata复现经典文献:上市公司全要素生产率(TFP)计算全流程(含LP/OP代码解读)

本文提供了使用Stata软件复现上市公司全要素生产率(TFP)计算的完整实战指南。重点解读了主流的Levinsohn-Petrin(LP)和Olley-Pakes(OP)半参数估计方法,通过详细的数据清洗、变量构建与价格平减步骤,手把手演示了如何准确测算TFP,并强调了LP方法在处理中国上市公司数据时的稳定性和适用性。

b0c1d2的博客 596
上一篇: 20 个关于程序员的笑话,看懂了,你就不会羡慕工资高了!
下一篇: 分享下CMake和QT开发环境的一个小知识
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值