【论文精读——BAM: 卷积块注意力模型】

2018-BAM: Bottleneck Attention Module(BAM)

基本信息

作者： Jongchan Park*†1，Sanghyun Woo*2，Joon-Young Lee3，In So Kweon2，
期刊： BMVC
引用： *
摘要： 深度神经网络的最新进展是通过架构搜索来获得更强的代表能力。在这项工作中，我们重点研究注意力在一般深度神经网络中的作用。我们提出了一种简单有效的注意力模块，称为瓶颈注意力模块（BAM），可以与任何前馈卷积神经网络集成。我们的模块沿着两条独立的路径，通道和空间，推断出一张注意力图。我们将我们的模块放置在模型的每个瓶颈处，在那里会发生特征图的下采样。我们的模块用许多参数在瓶颈处构建了分层注意力，并且它可以以端到端的方式与任何前馈模型联合训练。我们通过在CIFAR-100、ImageNet-1K、VOC 2007和MS COCO基准上进行大量实验来验证我们的BAM。我们的实验表明，各种模型在分类和检测性能上都有持续的改进，证明了BAM的广泛适用性。代码和模型将公开提供

1.简介

• 提高性能的一个基本方法是设计一个良好的主干架构，如AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet，这些主干体系结构都有自己的设计选择，并且比以前的体系结构表现出显著的性能提升。
• 另一个可提升的点在于注意力机制，方便地与现有的CNN架构集成。

本文提出了“瓶颈注意力模块”（BAM），这是一种简单高效的注意力模块，可以在任何细胞神经网络中使用。给定一个三维特征图，BAM生成一个三维注意力图来强调重要元素。在BAM中，我们将推断3