双多尺度注意力网络（DMSANet: Dual Multi Scale Attention Network）

最新推荐文章于 2025-05-13 10:53:07 发布
原创 最新推荐文章于 2025-05-13 10:53:07 发布 · 2.8k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

本文介绍了一种新的注意力模块——双多尺度注意力网络（DMSANet），该模块结合空间和通道注意力，有效地集成局部和全局信息，尤其适用于图像分类、对象检测和实例分割任务。DMSANet通过特征分组、通道和空间注意力模块，以及聚合策略，减少了参数数量并提高了性能。

摘要：在本文中，我们提出了一个新的注意模块，与大多数现有模型相比，该模块不仅实现了最佳性能，而且参数更少。由于其轻巧的特性，我们的注意力模块可以轻松地与其他卷积神经网络集成。双多尺度注意网络 (DMSANet) 的网络由两部分组成: 第一部分用于提取各种尺度的特征并将其聚合，第二部分并行使用空间和通道注意模块来自适应地集成本地特征及其全局依赖性。我们对我们的网络性能进行了基准测试，以在ImageNet数据集上进行图像分类，在MS COCO数据集上进行对象检测和实例分割。

引言

卷积神经网络的局部感受野。在著名的InceptionNet (Szegedy等人，2016) 中使用的多尺度体系结构聚合来自不同大小的卷积核的多尺度信息。注意网络最近引起了很多注意，因为它允许网络只关注重要方面，而忽略那些无用的方面 (Li等人，2019) 、 (Cao等人，2019) 和 (Li等人，2019)。

在计算机视觉中使用注意机制已经成功解决了许多问题，例如图像分类，图像分割，对象检测和图像生成。大多数注意机制可以大致分为两种类型，通道注意和空间注意，这两种类型都通过聚合来自不同维度的信息来增强原始特征 (Zhang等，2021)。

一些工作将这两种机制结合在一起并获得了更好的结果 (Cao等人，2019) 和 (Woo等人，2018)。通过 (Wang等人，2020) 使用有效的信道注意和1 × 1卷积来减少计算负担。最受欢迎的关注机制是挤压和激励模块 (Hu等人，2018b)，它可以以相当低的成本显著提

了解本专栏 订阅专栏 解锁全文 超级会员免费看
DMSANet: Dual Multi Scale Attention Network（2021CVPR）双尺度注意网络论文笔记
每天都要看论文
06-19 2796
DMSANet: Dual Multi Scale Attention Network 双多尺度注意网络 Abhinav Sagar作者主页：https://abhinavsagar.github.io/ 在本文中，提出了一个新的注意力模块，它不仅能达到最好的性能，而且与大多数现有的模型相比，具有更少的参数。 最近，注意力机制在计算机视觉界相当流行。为了提高网络的性能，人们做了大量的工作，尽管几乎总是导致计算复杂性的增加。在本文中，提出了一个新的注意力模块，它不仅能达到最好的性能，而且与大多数现有的模型相比
YOLOv8【第四章：注意力机制篇·第18节】一文讲透，Multi-Scale Attention多尺度注意力！
最新发布
**My Coding Family**
11-13 1207
> 🏆 本文收录于 [《YOLOv8实战：从入门到深度优化》](https://blog.youkuaiyun.com/weixin_43970743/category_13049448.html)，该专栏持续复现网络上各种热门内容(全网YOLO改进最全最新的专栏，质量分97分+，全网顶流)，改进内容支持(分类、检测、分割、追踪、关键点、OBB检测)。且专栏会随订阅人数上升而涨价(毕竟不断更新)，当前性价比极高，有一定的参考&学习价值，部分内容会基于现有的国内外顶尖人工智能AIGC等AI大模型技术总结改进而来，嘎嘎硬
CVPR 2021 | DMSANet：双多尺度注意力机制
u011447962的博客
07-30 9674
paper:https://arxiv.org/pdf/2106.08382.pdf code:https://github.com/abhinavsagar/DMSANet 双多尺度注意力网络（DMSANet）在图像分类、目标检测和实例分割上均适用，性能优于EPSANet、FcaNet和SENet等网络 摘要 注意机制最近在计算机视觉领域很受欢迎。为了提高网络的性能，已经做了许多工作，尽管它几乎总是会增加计算复杂度。文章提出了一种新的注意模块，它不仅性能最好，而且具有较少的参数。文章中的注意模块可
Attentional Feature Fusion 注意力特征融合
热门推荐
执笔画红颜丶的博客
08-25 2万+
看到一篇比较不错的特征融合方法，基于注意力机制的 AAF ，与此前的 SENet、SKNet 等很相似，但 AFF性能优于它们，并且适用于更广泛的场景，包括短和长跳连接以及在 Inception层内引起的特征融合。AFF是由南航提出的注意力特征融合，即插即用！
DMSANet: Dual Multi Scale Attention Network
Billie使劲学的博客
06-29 3150
近年来，注意机制在计算机视觉领域中得到了广泛的应用。为了提高网络的性能，已经做了大量的工作，尽管几乎总是会导致计算复杂性的增加。在本文中，我们提出了一种新的注意力模块，与大多数现有模型相比，该模块不仅实现了最佳性能，而且具有较少的参数。我们的注意力模块可以很容易地与其他卷积神经网络集成，因为它的轻量级特性。提出的双多尺度注意网络（DMSANet）由两部分组成：第一部分用于提取不同尺度的特征并对其进行聚合，第二部分使用空间和通道注意模块并行地自适应地将局部特征与其全局依赖性相结合。我们在ImageNet数据集
图像超分辨率模型记录：MAN — Multi-scale Attention Network for Single Image Super-Resolution
weixin_51980361的博客
05-13 1015
本文提出了一种用于单幅图像超分辨率的多尺度注意力网络（MAN），该网络结合了多尺度大内核注意力（MLKA）和门控空间注意力单元（GSAU），以提升卷积神经网络在超分辨率任务中的性能。MLKA通过多尺度和门控方案校正大内核注意力，生成丰富的注意力图，联合聚合全局和局部信息，避免阻塞伪影。GSAU则通过集成门控机制和空间注意力，简化前馈网络，减少参数和计算量。实验表明，MAN在性能和计算复杂度之间实现了良好的权衡，显著提升了超分辨率任务的表现。
【YOLOv8改进】MSFN(Multi-Scale Feed-Forward Network):多尺度前馈网络
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-29 953
摘要——高光谱图像（HSI）去噪对于高光谱数据的有效分析和解释至关重要。然而，同时建模全局和局部特征以增强HSI去噪的研究却很少。在本文中，我们提出了一种混合卷积和注意力网络（HCANet），该网络结合了卷积神经网络（CNN）和Transformers的优势。为了增强全局和局部特征的建模，我们设计了一个卷积和注意力融合模块，旨在捕捉长距离依赖关系和邻域光谱相关性。此外，为了改进多尺度信息聚合，我们设计了一个多尺度前馈网络，通过在不同尺度上提取特征来增强去噪性能。
使用多尺度注意力进行语义分割
AI公园
11-27 1997
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Andrew Tao and Karan Sapra编译：ronghuaiyang导读来自NVIDIA的SOTA语义分割文...
Multi-scale Attention Network for Single Image Super-Resolution（CVPR 2024）
weixin_51732791的博客
08-25 1337
针对ConvNets在图像超分辨率任务中表现不如Transformer的问题，提出了多尺度大核注意力（MLKA）和门控空间注意力单元（GSAU）两种方法。通过结合多尺度、门控机制和空间注意力，这些方法显著增强了ConvNets的模型表示能力，并成功应用于构建多尺度注意力网络（MAN），从而在图像超分辨率任务中实现了与Transformer相媲美的性能。
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
B站 Ai学术叫叫兽的文案地
04-18 3168
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
【ARIXV2209】Multi-Scale Attention Network for Single Image Super-Resolution
OUC的搬砖日常
01-24 2497
代码：https://github.com/icandle/MAN这是来自南开大学的工作，将多尺度机制与大核注意机制结合，用于图像超分辨率。2022年初，大核卷积火了，Visual Attention Network （VAN）提出将大核卷积划为：depth-wise conv，dilated conv，和 point-wise conv 的组合（如下图所示）。作者提出的方法叫做 Multi-scale Attention Network（MAN），总体框架如下图所示。
YOLO11改进-注意力-引入多尺度卷积注意力模块MSCAM
qq_64693987的博客
12-25 4426
MSCAM（多尺度卷积注意力模块）的设计旨在通过对特征图进行多维度的注意力加权，从而提升特征的判别性和丰富性，进而提高模型在医学图像分割等任务中的性能。注意力机制通过自动学习特征图中不同部分的重要性，对特征进行加权处理。在 MSCAM 中，这种机制分为通道注意力和空间注意力两个维度。1通道注意力：旨在学习每个通道的重要性。不同通道可能包含不同类型的特征信息，通过为每个通道分配不同的权重，可以突出重要通道的特征，抑制无关通道的特征。空间注意力：关注特征图中的不同空间位置。
Multi-Scale Attention Network for Crowd Counting：用于人群计数的多尺度注意网络
qq_37973756的博客
05-11 2577
Multi-Scale Attention Network for Crowd Counting：用于人群计数的多尺度注意网络Multi-Scale Attention Network for Crowd CountingAbstract（摘要）1. Introduction2. Ralated Work3. Our approach3.1 Baseline network for crowd counting3.2. Scale-aware soft attention masks(尺度感知的软注意力掩
多尺度变形注意力模块和多级特征聚合模块
小嘤熊的博客
11-08 1830
3️⃣C15 -C25 沿通道轴连接以获得具有多尺度变形感受野的新特征图，注意力图 A 是通过在这个新连接的特征图上应用 3 × 3 卷积层和 sigmoid 激活函数生成的。通过这种方式，MSDAM从具有大的多尺度可变形感受野的特征图中生成注意力图，从而可以更好地拟合各种形状和大小的遥感对象，并为遥感图像生成更精确的注意力图。（2）遥感图像中的物体实例具有变形和大尺度变化的特征，而具有固定形状和单尺度感受野的特征图C5很难很好地拟合这些物体并预测出精确的遥感图像注意力图。相应生成的特征图表示为于C05。
【DNN】——多尺度注意力
怡宝2号
11-20 2261
深度学习，多尺度注意力 前面有空间（通道），pixel-wise注意力机制，又出了多尺度注意力机制。 后续附上代码。
[MSA-Net]Multi-Scale Attention Network学习笔记
Focus
10-24 3105
MSA-Net Multi-Scale Attention Network for Crowd Counting 2019 作者：亚马逊 论文：https://arxiv.org/abs/1901.06026 创新点： 在backbone中就产生了多尺度的density map，经过上采样后，加入软注意力机制进行加权叠加。 提出了一个scale-aware loss，但是实验结果好像表明效果不大。 Baseline network for crowd counting 一个关于密度图的解释[链接] M
Dual Attention机制
qq_43258953的博客
04-26 9495
一，Dual Attention机制首次出现于Dual Attention Network for Scene Segmentation（DANet），是一个很优秀的语义分割网络。 https://github.com/junfu1115/DANet 二，Dual Attention机制 ...
篇2-多尺度注意力（Multi-scale attention）论文学习
helloaiti的博客
03-21 2832
以I3D网络提取的特征为输入，经卷积和重塑生成Q、K和V矩阵，通过矩阵乘法建模任意两个时空位置特征的时空关系，用softmax得到时空注意力权重分布矩阵，最终输出特征是所有位置特征的选择性聚合与原始特征加权和；当RC传输的特征和两次卷积操作后的特征维度不同时，使用1×1卷积层匹配维度。分别对1x1分支和3x3分支的输出用2D全局平均池化编码全局空间信息，再通过矩阵点积运算得到两个空间注意力图，最后将其聚合并经Sigmoid函数处理得到输出特征图，捕捉像素级成对关系，突出全局上下文，生成像素级注意力。
多尺度残差密集双注意力网络
06-21
多尺度残差密集双注意力（Multi-Scale Residual Dense Attention Network, MSR-DAN）是一种深度学习网络结构，主要用于图像处理和计算机视觉任务中，尤其是针对具有复杂特征和细节变化的任务。它结合了以下几个关键...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一壶浊酒..

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值