CA-用于轻型网络的坐标注意力 | CVPR2021

Coordinate Attention for Efficient Mobile Network Design

创新点

• 为轻型网络提出 CA（Coordinate Attention）注意力机制；
• CA 注意力通过嵌入位置信息到通道注意力，避免在二维全局池化中位置信息的损失还可以使CA能够捕获长距离的依赖关系。

问题

• SE（Squeeze-and-Excitation）注意力在编码过程中忽略了位置信息的重要性；
• CBAM（CBAM: Convolutional Block Attention Module）中不能捕捉的长距离依赖关系。

方法

CA注意力如图所示。

Coordinate Information Embedding

将 CxHxW 形状的输入特征图逐通道进行平均池化，使用（H，1）和（1，W）的池化核分别按X和Y轴方向进行池化对每个通道进行编码，产生 CxHx1 和 Cx1xW 形状的特征图。

通过这种方式所产生的一对方法感知特征图可以使 CA 注意力能够在一个通道内捕获