Coordinate Attention for Efficient Mobile Network Design（CA模块）

Coordinate Attention for Efficient Mobile Network Design

这篇文章提出了一个新的注意力机制，和其他注意力机制不同的是，这篇文章的注意力机制是专门为mobile networks提出的。该注意力机制将位置信息嵌入通道信息，命名为“coordinate attention”，简称CA.
CA将通道注意分解为两个一维特征编码过程，分别沿两个空间方向聚合特征。通过这种方式，可以沿一个空间方向捕获长距离依赖关系，同时可以沿另一个空间方向保留精确的位置信息。
官方代码链接

1. 介绍

SE通过2D全局池化计算通道注意力，在低计算量的情况下获得不错的表现；BAM、CBAM尝试通过减少输入特征向量的通道维度来获得位置信息。但是卷积只能获得局部的关系，不能获得长距离的依赖关系。
为了计算由2D全局池化引起的位置信息损失，我们将通道注意力机制进行分解为两个平行的1D的特征编码过程，来有效的整合空间坐标信息到生成的注意力maps。
CA的优点：

1. 可以获得不仅跨通道，而且有方向意识、位置敏感的信息。
2. 灵活、轻量级、可以轻易插入mobile networks中。
3. 在mobile networks的down-stream tasks中表现优秀。
   

2. Coordinate Attention

2.1 Revisit Squeeze-and-Excitation Attention

构建通道间依赖关系可以增加模型对信息通道的敏感性,使用全局平均池还可以帮助模型捕获全局信息，这是卷积所缺乏的。
SE可以看成两步，squeeze和expectitation，分别设计用于通道关系的全局信息嵌入和自适应重新校准。

1. squeeze
   

2. expectitation
   
   
   但是，SE它始终只考虑通过建模通道关系来重新权衡每个通道的重要性，而忽略了位置信息。

2.2 Coordinate Attention Blocks

我们的坐标注意力机制（CA）通过两个步骤来编码通道关系和长期依赖关系，即坐标信息嵌入和坐标注意力生成

2.2.1 Coordinate Information Embedding

具体来说，给定输入 X，我们使用池化核的两个空间范围（H，1）或（1，W）分别沿水平坐标和垂直坐标对每个通道进行编码。

以上两种变换分别沿着两个空间方向聚合特征，得到一对方向感知特征图。

2.2.2 Coordinate Attention Generation

具体来说，给定由上述公式4和公式 5生成的聚合特征映射，我们首先将它们concatenate，然后将它们送入共享的1 × 1卷积变换函数F1：

其中 r为控制块大小的减小比例，比如在SE块中。

然后，我们沿着空间维度将 f 分成两个单独的张量：$f_h\in R^{C/r}\times H$ and $f_w\in$