qq_54372122的博客

论文中，作者通过将位置信息嵌入到通道注意力中来为移动网络提出一种新的注意力机制，称之为“坐标注意力”。与通过 2D 全局池化将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个一维特征编码过程，分别沿两个空间方向聚合特征。然后将得到的特征图单独编码成一对方向感知和位置敏感的注意力图，这些图可以互补地应用于输入特征图以增强感兴趣对象的表示。进行concat后生成如下图所示的特征图，然后进行F1操作（利用1*1卷积核进行降维，如SE注意力中操作）和激活操作，生成特征图。

作者单位：清华大学(丁贵广团队), 旷视科技(孙剑等人), 港科大, 阿伯里斯特威斯大学提出了一种简单而强大的卷积神经网络结构，其推理阶段是仅由3*3卷积和RELU组成VGG风格的结构，训练阶段则具有多分支结构。这种训练-推理的解耦是利用一种叫做“重参数化（re-parameterization）”的技术实现的，因此，该网络被称为RepVGG。在ImageNet上能够达到超过80%的top-1准确率，这是直通式网络第一次达到如此高的性能。

以前的研究：1、为了设计快速神经网络，许多工作都集中在减少浮点运算（FLOPs）的数量上。作者观察到FLOPs的这种减少不一定会带来延迟的类似程度的减少。这主要源于每秒低浮点运算（FLOPS）效率低下。问题：1、FLOPS低主要是由于运算符的频繁内存访问指出了实现更高FLOPS的重要性，而不仅仅是为了更快的神经网络而减少FLOPs。作者设计了一种的新的运算符，该运算符可以在减少FLOPs的情况下保持高FLOPS。