CVPR 2021 | Coordinate Attention for Efficient Mobile Network Design注意力机制再下一城（Keras实现）

Coordinate Attention for Efficient Mobile Network Design 

paper:https://arxiv.org/pdf/2103.02907.pdf 

code:https://github.com/Andrew-Qibin/CoordAttention

摘要

通过将位置信息嵌入到信道注意中的移动网络注意机制，与SE通过二维全局池将特征张量转换为单一特征向量的通道注意不同，坐标注意将信道注意分解为两个一维特征编码过程，分别沿着两个空间方向（X、Y方向）聚合特征。这样，可以沿一个空间方向捕获长距离的依赖关系，同时可以沿另一个空间方向保持精确的位置信息。然后，得到的特征图被单独编码成一对方向感知和位置敏感的注意图，可以互补地应用到输入特征图上，以增强感兴趣对象的表示。该注意力机制很简单，可以灵活地插入经典的轻量级网络，如MobileNetV2、MobileNeXt和效率网络，而几乎没有计算开销。对于图像分类、目标检测和语义分割都很友好。

论文主要思想

分别沿X方向和Y方向使用注意力机制，一方面能够获取沿一个空间方向的长期依赖关系，又能够保存精确的位置信息，帮助网络更准确地定位感兴趣的对象。并且它能够有效地获取通道间的关系。