BAM是深度学习中的注意力模块，旨在提升卷积神经网络性能。通过channel和spatial两个路径获取Attention Map，形成分层注意力机制。在ResNet中应用时，BAM能消除低层次特征并聚焦高级语义。实验表明，空洞卷积在空间注意力分支中有效，元素求和在结合通道和空间注意力时表现最佳。
论文地址
姊妹篇
BAM: Bottleneck Attention Module
这是CBAM的姊妹篇，原班人马打造，不得不服
摘要：在这项工作中，我们把重心放在了Attention对于一般深度神经网络的影响上，我们提出了一个简单但是有效的Attention 模型—BAM，它可以结合到任何前向传播卷积神经网络中，我们的模型通过两个分离的路径 channel和spatial, 得到一个Attention Map，实验验证了我们算法的有效性。
整体结构图如下：
这里作者将BAM放在了Resnet网络中每个stage之间。有趣的是，通过可视化我们可以看到多层BAMs形成了一个分层的注意力机制，这有点像人类的感知机制。BAM在每个stage之间消除了像背景语义特征这样的低层次特征，然后逐渐聚焦于高级的语义–明确的目标（比如图中的单身狗）。
主要思想：
channel attention branch
对于给定的feature map F ∈ \in ∈ R C ∗ H ∗ W R^{C*H*W} RC∗H∗W,BAM可以得到一个3D的Attention map M(F) ∈ \in ∈ R C ∗ H ∗ W R^{C*H*W} RC∗
最低0.47元/天 解锁文章
扫一扫
2499
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
