BAM: Bottleneck Attention Module算法笔记

BAM是深度学习中的注意力模块,旨在提升卷积神经网络性能。通过channel和spatial两个路径获取Attention Map,形成分层注意力机制。在ResNet中应用时,BAM能消除低层次特征并聚焦高级语义。实验表明,空洞卷积在空间注意力分支中有效,元素求和在结合通道和空间注意力时表现最佳。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文地址
姊妹篇
BAM: Bottleneck Attention Module
这是CBAM的姊妹篇,原班人马打造,不得不服
摘要:在这项工作中,我们把重心放在了Attention对于一般深度神经网络的影响上,我们提出了一个简单但是有效的Attention 模型—BAM,它可以结合到任何前向传播卷积神经网络中,我们的模型通过两个分离的路径 channel和spatial, 得到一个Attention Map,实验验证了我们算法的有效性。
整体结构图如下:
在这里插入图片描述

这里作者将BAM放在了Resnet网络中每个stage之间。有趣的是,通过可视化我们可以看到多层BAMs形成了一个分层的注意力机制,这有点像人类的感知机制。BAM在每个stage之间消除了像背景语义特征这样的低层次特征,然后逐渐聚焦于高级的语义–明确的目标(比如图中的单身狗)。

主要思想:
channel attention branch
对于给定的feature map F ∈ \in R C ∗ H ∗ W R^{C*H*W} RCHW,BAM可以得到一个3D的Attention map M(F) ∈ \in R C ∗ H ∗ W R^{C*H*W} RC

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值