【论文阅读】一些轻量的有效的attention module的介绍

原创 已于 2022-05-23 18:52:43 修改 · 2.5k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #人工智能

于 2022-05-17 17:03:41 首次发布
本文介绍了深度学习中广泛采用的注意力机制模块，如CBAM、BAM和CoordinateAttention等。这些模块通过通道注意力和空间注意力提升模型对特征图重要性的识别。CBAM结合了通道和空间注意力，BAM利用膨胀卷积扩大感受野，而CoordinateAttention综合通道和位置信息。这些方法在减少参数量的同时提高了模型性能，适用于多种神经网络架构。

最近在看论文，发现很多的论文都用到了attentive moudule。
这也得益于越来越多的实验证明自注意力机制对于：什么是重要的？这个问题的合理解决。相比传统的直接生成特征图，对于每一个item进行同样的卷积提取特征等操作，让神经网络来自己学习哪部分是前景，哪部分是背景噪声，不重要，加入一个attentive module是一个很聪明的办法。
现在学术界涌现出许多的attentive module的设计方法，主要还是应用在2d目标检测领域。
这篇博客主要是对于一些开源的影响力大的模块进行一个介绍。

CMBA

论文题目：CBAM: Convolutional Block Attention Module
eccv2018 已经开源
在这里插入图片描述
这篇文章思考了两个问题，对于一个输入的特征图（HWC），什么（what）是重要的，以及哪一块（where）是重要的。
在这里插入图片描述

所以文章架构如上，这个attention module主要包含两个部分：
channel attention module
这个部分解决（what）的问题。
对于输入的特征图，这是个什么东西？我们在网络中常用的方法又max pool 和mean pool。这两种featuer aggregation的方法各有优劣，文章将两者结合起来进行操作。
在这里插入图片描述
其实没啥好说的，有深度学习

最低0.47元/天 解锁文章
EMA：基于跨空间学习的高效多尺度注意力模块
AI浩
06-23 2万+
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
即插即用篇 | YOLOv8 引入具备跨空间学习的高效多尺度注意力 Efficient Multi-Scale Attention | 《ICASSP 2023 最新论文》
YOLOv8项目贡献者
07-13 7684
ICASSP 2023🏅 YOLOv8 添加 EMA 模块与 C2f_EMA 模块
深度学习中注意力机制集锦 Attention Module
热门推荐
心之所向
10-13 2万+
注意力机制模仿的是人类观察模式。一般我们在观察一个场景时，首先观察到的是整体场景，但当我们要深入了解某个目标时，我们的注意力就会集中到这个目标上，甚至为了观察到目标的纹理，我们会靠近目标，仔细观察。同理在深度学习中，我们提取到的信息流以同等重要性向后流动，而如果我们知道某些先验信息，我们就能够根据这些信息抑制某些无效信息的流动，从而使得重要信息得以保留。这是一种模式，而并非具体的公式，因此存在各种...
YOLOv8改进:添加EMA注意力机制
ShawN1022的博客
09-13 1万+
用YOLOv5x作为骨干CNN在VisDrone数据集上进行目标检测，其中CA, CBAM和EMA注意力分别集成到检测器中。从表2的结果可以看出，CA, CBAM和EMA都可以提高目标检测的基线性能。/EMA.py文件中新建一个名为EMA.py文件，将下述代码复制到EMA.py文件中并保存。本文提出了一种新的跨空间学习方法，并设计了一个多尺度并行子网络来建立短和长依赖关系。EMA的位置可以改变，看个人的数据集效果，改注意编号的变化。运行的时候看框架可以看到EMA说明添加成功。录用：ICASSP2023。
Efficient Multi-Scale Attention Module with Cross-Spatial Learning 学习笔记
最新发布
qq_34832548的博客
10-14 709
在CV任务中说明了产生更加可辨别的特征表示的通道或空间注意力机制的显著有效性。
Attention Module (SAM)是什么？
欢迎大家评价。
08-01 2253
SAM是一种有效的空间注意力机制，它通过关注输入数据中不同空间位置的重要性，帮助模型更好地提取和利用关键特征。在深度学习领域，特别是计算机视觉任务中，SAM具有广泛的应用前景和重要的研究价值。
【YOLOv10改进 - 注意力机制】Triplet Attention：轻量有效的三元注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-26 1586
得益于在通道或空间位置之间构建相互依赖关系的能力，注意力机制在最近被广泛研究并广泛应用于各种计算机视觉任务中。在本文中，我们研究了轻量但有效的注意力机制，并提出了三重注意力，这是一种通过使用三分支结构捕获跨维度交互来计算注意力权重的新方法。对于输入张量，三重注意力通过旋转操作及后续的残差变换构建维度间依赖关系，并以可忽略的计算开销编码通道间和空间信息。我们的方法简单且高效，可以作为附加模块轻松插入经典骨干网络中。
（论文翻译）CBAM Convolutional Block Attention Module（通道+空间注意力ECCV2018）
qq_39214409的博客
05-10 1833
Convolutional Block Attention Module (CBAM)，一种简单高效的前馈卷积神经网络注意力模块给定一个中间的feature map，我们的模型沿着两个独立的维度推断出attention map，即通道与空间，然后将attention map与输入feature map相乘进行自适应特征细化由于CBAM是一个轻量级的泛化模型，它可以被无缝整合到任意CNN结构
【论文笔记】独属于CV的注意力机制CBAM-Convolutional Block Attention Module
xian0710830114的专栏
08-28 8392
CBAM（Convolutional Block Attention Module）是2018年被提出的，不同于ViT的Attention，CBAM是为CNN量身定做的Attention模块，实现简单、效果好，你值得拥有。
CBAM: Convolutional Block Attention Module论文阅读笔记
不要回答的博客
03-12 440
题目：CBAM: Convolutional Block Attention Module 中文：卷积块注意模块 摘要： 我们提出了卷积块注意力模块（CBAM），这是一种用于前馈卷积神经网络的简单而有效的注意力模块。给定一个中间特征图，我们的模块会依次沿着两个单独的维度（通道和空间）推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化。由于CBAM是一个轻量级的通用模块，因此可以将其无缝集成到任何CNN体系结构中，而开销却可以忽略不计，并且可以与基础CNN一起进行端到端的培训。我们通过对Im
深度学习中的注意力机制(Attention Model)
Abner
11-05 5088
注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。
Convolutional Block Attention Module
qq_39400568的博客
12-12 2126
Convolutional Block Attention Module 1 Introduction 本文提出了卷积块注意模块（Convolutional Block Attention Module，CBAM）， 一个简单而有效的前馈卷积注意力模块神经网络。给定一个中间特征图，本论文的模块设置为沿两个独立的维度按顺序推断注意力图：通道和空间，然后将注意力图与输入特征相乘用于自适应特征细化的映射。 因为CBAM是一种轻量级且 通用模块，它可以集成到任何CNN架构中较少的开销可以忽略不计，并且可以进行端到端
语义分割模型 注意力模块Attention（学习笔记）
m0_64931337的博客
01-17 2017
深度学习入门：注意力机制的理解
探索 Attention Module: 提升深度学习效能的秘密武器
gitblog_00037的博客
03-24 538
探索 Attention Module: 提升深度学习效能的秘密武器 在深度学习领域，尤其是自然语言处理和计算机视觉中， 是一个至关重要的概念，它极大地提升了模型对输入数据的理解与处理能力。本篇文章将带你深入了解这个项目，分析其核心技术，并探讨它的应用场景及独特之处。 项目简介 attention-module 是 Jongchan 的一个开源项目，旨在提供一种简单而强大的方式，帮助开发者在他们的...
BAM: Bottleneck Attention Module算法笔记
DBG的博客
01-23 1万+
论文地址 姊妹篇 BAM: Bottleneck Attention Module 这是CBAM的姊妹篇，原班人马打造，不得不服 摘要：在这项工作中，我们把重心放在了Attention对于一般深度神经网络的影响上，我们提出了一个简单但是有效的Attention 模型—BAM，它可以结合到任何前向传播卷积神经网络中，我们的模型通过两个分离的路径 channel和spatial, 得到一个A...
Self-attention module详解
Harry_Jack的博客
10-27 1364
Self-attention module详解 1. Data Input and Output 生活中解决实际问题时，可能会遇到一组向量作为输入的情况，这种输入情况称作为Vector Set as Input。这类问题常常出现在文本翻译，语音识别，图(Graph)分析中。 那么这类问题的输出，就是一组或一个label，根据输出label个数不同可以分为以下三类： 情况1. 每个向量都会有一个label #mermaid-svg-mEw8QuMFHSjtd3JG .label{font-family:'tr
【NLP】Attention Model（注意力模型）学习总结
weixin_33805992的博客
08-06 950
　　最近一直在研究深度语义匹配算法，搭建了个模型，跑起来效果并不是很理想，在分析原因的过程中，发现注意力模型在解决这个问题上还是很有帮助的，所以花了两天研究了一下。 　　此文大部分参考深度学习中的注意力机制(2017版)张俊林的博客，不过添加了一些个人的思考与理解过程。在github上找到一份基于keras框架实现的可运行的注意模型代码：Attention_Network_With_Ker...
基于Attention机制的轻量级网络架构以及代码实现
深度学习技术前沿
11-19 3139
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要10分钟Follow小博主，每天更新前沿干货导读之前详细介绍了轻量级网络架构的开源项目，详情请看深度学习中的轻量级网络架构总结与代码...
Convolutional Block Attention Module (CBAM)
03-11
<think>好的，我需要回答用户关于Convolutional Block Attention Module (CBAM)的问题。首先，用户可能想了解CBAM的基本概念、结构、实现和应用。根据用户的提示，他们提到了ECCV2018的论文和PyTorch实现，所以需要结合这些信息。 首先，我应该回顾CBAM的结构。CBAM包含通道注意力和空间注意力两个部分。通道注意力模块使用平均池化和最大池化，然后通过多层感知机（MLP）生成通道权重。空间注意力模块则是在通道维度上进行池化，然后通过卷积层生成空间权重。两个模块依次应用，增强特征图的表达能力。 接下来是PyTorch实现部分。用户提供的参考是PyTorch实现的CBAM，所以需要给出一个代码示例。需要确保代码结构正确，符合论文描述。比如，通道注意力中的MLP层，使用1x1卷积代替全连接层，这在图像处理中更常见。空间注意力模块中的卷积层使用7x7的滤波器，这是论文中的参数。 然后，关于使用方式，用户可能想知道如何将CBAM集成到现有的网络中，比如ResNet。需要说明CBAM可以加在卷积块之后，例如在残差块的卷积层之后插入CBAM模块。此外，应用场景如分类、检测、分割等，都需要举例说明，说明注意力机制如何提升模型性能。 还需要检查是否需要补充其他信息，比如CBAM的优势，如轻量级、即插即用，以及可能的影响因素，比如在不同层使用CBAM的效果差异。同时，确保回答符合用户的要求，如使用中文、数学公式的正确格式，以及生成相关问题。 最后，生成的相关问题需要覆盖原理、实现细节、应用比较和优化等方面，帮助用户进一步探索。确认引用格式正确，末尾添加引用标识[^1]。整个过程需要结构清晰，分点说明，代码示例正确，并且语言简洁明了。</think>### Convolutional Block Attention Module (CBAM) #### 1. 核心原理 CBAM是一种轻量级注意力模块，通过**通道注意力**和**空间注意力**的级联设计增强卷积特征。其数学表达为： $$ \begin{aligned} \text{通道注意力权重} & : \mathbf{M}_c(F) = \sigma(MLP(AvgPool(F)) + MLP(MaxPool(F))) \\ \text{空间注意力权重} & : \mathbf{M}_s(F) = \sigma(f^{7\times7}([AvgPool(F); MaxPool(F)])) \end{aligned} $$ 其中$F$为输入特征图，$\sigma$为sigmoid函数，$f^{7\times7}$为7x7卷积操作。 #### 2. PyTorch实现代码 ```python import torch import torch.nn as nn class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc = nn.Sequential( nn.Conv2d(in_planes, in_planes//ratio, 1, bias=False), nn.ReLU(), nn.Conv2d(in_planes//ratio, in_planes, 1, bias=False) ) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.fc(self.avg_pool(x)) max_out = self.fc(self.max_pool(x)) return self.sigmoid(avg_out + max_out) class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super().__init__() self.conv = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) combined = torch.cat([avg_out, max_out], dim=1) return self.sigmoid(self.conv(combined)) class CBAM(nn.Module): def __init__(self, in_planes): super().__init__() self.ca = ChannelAttention(in_planes) self.sa = SpatialAttention() def forward(self, x): x = self.ca(x) * x # 通道注意力 x = self.sa(x) * x # 空间注意力 return x ``` #### 3. 使用方式 1. **集成到CNN架构**：可插入ResNet等网络的残差块中： ```python class ResBlock_CBAM(nn.Module): def __init__(self, in_channels): super().__init__() self.conv1 = nn.Conv2d(in_channels, in_channels, 3, padding=1) self.cbam = CBAM(in_channels) self.conv2 = nn.Conv2d(in_channels, in_channels, 3, padding=1) def forward(self, x): residual = x x = F.relu(self.conv1(x)) x = self.cbam(x) x = self.conv2(x) x += residual return F.relu(x) ``` 2. **应用场景**： - 图像分类：在ResNet中插入CBAM模块可使ImageNet Top-1准确率提升约1.5%[^1] - 目标检测：增强目标区域的特征响应 - 语义分割：改善边缘细节特征表示
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值