DMSANet: Dual Multi Scale Attention Network（2021CVPR）双尺度注意网络论文笔记

最新推荐文章于 2025-03-16 20:49:07 发布
最新推荐文章于 2025-03-16 20:49:07 发布
阅读量2.7k 收藏 13
点赞数 2
分类专栏： 高光谱超分 融合 注意力机制 transformer 文章标签： 计算机视觉 深度学习 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/siyumiao_hbu/article/details/118059422
版权
DMSANet是2021年CVPR会议上提出的一种新的注意力模块，旨在实现高性能的同时减少参数数量。该网络通过提取不同尺度特征并结合空间和通道注意力模块，有效地融合局部和全局信息。DMSANet在ImageNet分类、MS COCO物体检测和实例分割任务上展示了优越的性能，并且由于其轻量级设计，易于整合到其他CNN架构中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DMSANet: Dual Multi Scale Attention Network

双多尺度注意网络

2021 6月份CVPR的一篇论文

PDF：https://arxiv.org/pdf/2106.08382.pdf
作者： Abhinav Sagar
作者主页：https://abhinavsagar.github.io/ 代码好像还没提供
在本文中，提出了一个新的注意力模块，它不仅能达到最好的性能，而且与大多数现有的模型相比，具有更少的参数。

最近，注意力机制在计算机视觉界相当流行。为了提高网络的性能，人们做了大量的工作，尽管几乎总是导致计算复杂性的增加。在本文中，提出了一个新的注意力模块，它不仅能达到最好的性能，而且与大多数现有的模型相比，具有更少的参数。本文注意力模块由于其轻量级的特性，可以很容易地与其他卷积神经网络集成。所提出的网络名为双多尺度注意网络（DMSANet），由两部分组成：第一部分用于提取不同尺度的特征并将其汇总，第二部分平行使用空间和通道注意模块，以适应性地将局部特征与它们的全局依赖关系结合起来。以ImageNet数据集的图像分类、MS COCO数据集的物体检测和实例分

了解本专栏 订阅专栏 解锁全文 超级会员免费看
双多尺度注意力网络（DMSANet: Dual Multi Scale Attention Network）
qq_40107571的博客
10-29 2807
双多尺度注意力网络
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
DMSANet: Dual Multi Scale Attention Network
Billie使劲学的博客
06-29 2944
近年来，注意机制在计算机视觉领域中得到了广泛的应用。为了提高网络的性能，已经做了大量的工作，尽管几乎总是会导致计算复杂性的增加。在本文中，我们提出了一种新的注意力模块，与大多数现有模型相比，该模块不仅实现了最佳性能，而且具有较少的参数。我们的注意力模块可以很容易地与其他卷积神经网络集成，因为它的轻量级特性。提出的双多尺度注意网络（DMSANet）由两部分组成：第一部分用于提取不同尺度的特征并对其进行聚合，第二部分使用空间和通道注意模块并行地自适应地将局部特征与其全局依赖性相结合。我们在ImageNet数据集
每日Attention学习25——Multi-Scale Attention Fusion
最新发布
xiongxyowo的博客
03-16 392
MSAF的主要思想是让网络根据损失学习特征权重，允许模型选择性地融合来自不同尺度的信息。
CVPR 2021 | DMSANet：双多尺度注意力机制
u011447962的博客
07-30 9451
paper:https://arxiv.org/pdf/2106.08382.pdf code:https://github.com/abhinavsagar/DMSANet 双多尺度注意力网络（DMSANet）在图像分类、目标检测和实例分割上均适用，性能优于EPSANet、FcaNet和SENet等网络 摘要 注意机制最近在计算机视觉领域很受欢迎。为了提高网络的性能，已经做了许多工作，尽管它几乎总是会增加计算复杂度。文章提出了一种新的注意模块，它不仅性能最好，而且具有较少的参数。文章中的注意模块可
探索创新的机器学习模型：Multi-Scale Attention
gitblog_00049的博客
04-19 510
探索创新的机器学习模型：Multi-Scale Attention 去发现同类优质开源项目:https://gitcode.com/ 在深度学习的世界里，注意力机制（Attention Mechanism）已成为理解和处理复杂数据的关键技术之一。 创建的 是一个致力于改进这一机制的开源项目，它旨在提高模型对多尺度信息的理解和应用能力。 项目简介 Multi-Scale Attention 提供了...
【论文分享】Dual Heterogeneous Complementary Networks for Single Image Deraining 2022CVPR
Alex抱着爆米花的博客
09-27 746
文章借鉴了MPRNet的思想，网络更精简，贡献是....
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【IVIF】MAFusion: Multiscale Attention Network for Infrared and Visible Image Fusion
learnererer的博客
04-22 684
本篇的Baseline应该是DeepFuse，两阶段训练，固定AE后，再加入中间的融合层训练。融合策略的方式可以留意一下，把源图像的特征作差得到差异特征，然后求取加权值。编码器提取了4级多尺度特征，解码器中作者也是想使用多尺度的跳跃连接（有很多实现方式，作者试了一种）损失函数就一个平均梯度算子提取的梯度损失和一个像素强度损失。发表自TIM 2022代码公开。
【图像超分辨率】MSAN:Scene-Adaptive RS Img SR a Multiscale Attention
qq_41807261的博客
05-31 1103
MSAN：Scene-Adaptive Remote Sensing Image Super-Resolution Using a Multiscale Attention Network摘要I 介绍III. 方法A. 用于遥感图像超分辨率的MSAN模型的结构B. 多尺度激活特征融合块（MAFB）1) 多尺度激活模块。2) 注意模块。C. 场景适应性框架描述1) 转移学习2）重构 摘要 遥感图像超分辨率一直是研究的重点，近年来提出了许多基于深度学习的算法。然而，由于遥感图像的结构往往比自然图像的结构更加复杂
论文阅读：HIERARCHICAL MULTI-SCALE ATTENTION FOR SEMANTIC SEGMENTATION
a486259的博客
08-18 947
论文地址：https://arxiv.org/pdf/2005.10821.pdf发表时间：2020多尺度推理是提高语义分割结果的常用方法。多个图像尺度通过网络，然后将结果与平均或最大池化相结合。在这项工作中，我们提出了一种基于注意力的方法来结合多尺度预测。我们表明，在特定尺度上的预测更能解决特定的故障模式，并且网络学会了在这种情况下支持这些尺度，以产生更好的预测。我们的注意力机制是分层的，这使得它的训练效率比其他最近的方法高4倍。...
[MSA-Net]Multi-Scale Attention Network学习笔记
Focus
10-24 2974
MSA-Net Multi-Scale Attention Network for Crowd Counting 2019 作者：亚马逊 论文：https://arxiv.org/abs/1901.06026 创新点： 在backbone中就产生了多尺度的density map，经过上采样后，加入软注意力机制进行加权叠加。 提出了一个scale-aware loss，但是实验结果好像表明效果不大。 Baseline network for crowd counting 一个关于密度图的解释[链接] M
改进YOLOv8系列：结合自研注意力模块MultiScaleAttentiveConv (MSAConv)
qq_44224801的博客
04-14 501
- YOLOv8轻松上手，适用技术小白，文章代码齐全，仅需一键train，解决YOLOv8的技术突破和创新潜能。
【可变形注意力（1）】Multi-scale Deformable Attention Transformers 多尺度变形注意力
Hali_Botebie的博客
10-27 5118
1、大多数现代物体检测框架受益于多尺度特征图 (Liu等人，2020)。2、Deformable DETR: Deformable Transformers for End-to-End Object Detection 提出的可变形注意力模块可以自然地扩展为多尺度特征图。
MUSE: PARALLEL MULTI-SCALE ATTENTION FOR SEQUENCE TO SEQUENCE LEARNING
Jeaksun的博客
06-05 1571
在顺序学习中，自我注意机制被证明是非常有效的，并在许多任务中取得了显著的改善。然而，自我注意机制也并非没有缺陷。虽然自我注意可以模拟极长的依赖关系，但深层的注意力往往过于集中在单一的表征上，导致对局部信息的充分利用，并难以表征长序列。在这项工作中，本文探索了序列数据上的并行多尺度表征学习，努力捕捉长程和短程语言结构。为此，本文提出了并行多尺度注意(MUSE)和MUSE-SIMPLE。本文将重点放在机器翻译上，提出的方法在性能上比Transformer有了很大的提高，特别是在长序列上。...
每日Attention学习2——Multi-Scale Convolutional Attention
xiongxyowo的博客
05-09 803
MSCA包含三个部分：一个深度卷积以汇总局部信息；一个多分支深度条带卷积以获取多尺度上下文；一个1×1卷积以建模不同通道之间的信息。该1×1卷积的输出将直接作为注意力以对MSCA的输出结果进行后处理加权。
多尺度卷积+注意力机制=准确率接近100%！
2401_88556812的博客
11-15 2434
通过多尺度卷积，模型能够捕获不同尺度的特征，而注意力机制则帮助模型聚焦于更重要的特征，从而提高模型的识别能力和准确性。3D-CNN模型能够自动从原始数据中提取信息特征，而无需大量的预处理，这在传统的浅层神经网络中难以实现。在编码器和解码器模块中分别引入混合注意力机制，以推断输入中间特征图中空间点的重要性和通道间关系特征。通过多分支卷积和池化操作，分别提取每种模态的浅层和深层特征，增强了模型对不同层次特征的捕捉能力。通过在深度可分离卷积层中使用多尺度卷积核，扩大了卷积感受野，提高了特征信息的丰富度。
多尺度注意力机制的语义分割
吴建明wujianming_110117
06-19 4516
多尺度注意力机制的语义分割 Using Multi-Scale Attention for Semantic Segmentation 在自动驾驶、医学成像甚至变焦虚拟背景中，有一项重要的技术是常用的：语义分割。这是将图像中的像素标记为属于N个类（N是任意数量的类）之一的过程，其中类可以是汽车、道路、人或树等。对于医学图像，类对应于不同的器官或解剖结构。 NVIDIA是一种应用广泛的语义分割技术。还认为，改进语义分割的技术也可能有助于改进许多其密集预测任务，如光流预测（预测物体运动）、图像超分辨率等。
ECCV, ICCV CVPR 关于transformer在遥感领域的论文
03-14
我可以回答这个问题。ECCV、ICCV和CVPR都是计算机视觉领域的顶级会议，它们都有关于transformer在遥感领域的论文发表。其中，ECCV 2020会议上发表了题为“Transformer-based Multi-scale Fusion for Remote Sensing Image Classification”的论文，ICCV 2019会议上发表了题为“Dual Attention Network for Scene Segmentation”的论文，CVPR 2020会议上发表了题为“Dual Attention Network for Scene Segmentation”的论文。这些论文都探讨了transformer在遥感领域的应用和效果。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有梦想的炸豆皮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值