实战级Stand-Alone Self-Attention in CV，快加入到你的trick包吧 | NeurIPS 2019

论文提出stand-alone self-attention layer，并且构建了full attention model，验证了content-based的相互关系能够作为视觉模型特征提取的主要基底。在图像分类和目标检测实验中，相对于传统的卷积模型，在准确率差不多的情况下，能够大幅减少参数量和计算量，论文的工作有很大的参考意义
 
来源：【晓飞的算法工程笔记】 公众号

论文: Stand-Alone Self-Attention in Vision Models

• 论文地址：https://arxiv.org/abs/1906.05909

Introduction

---

  目前卷积网络的设计是提高图像任务性能的关键，而卷积操作由于平移不变性使其成为了图像分析的主力。受限于感受域的大小设定，卷积很难获取长距离的像素关系，而在序列模型中，已经能很好地用attention来解决这个问题。目前，attention模块已经开始应用于传统卷积网络中，比如channel-based的attention机制 Squeeze-Excite和spatially-aware的attention机制Non-local Network等。这些工作都是将global attention layers作为插件加入到目前的卷积模块中，这种全局形式考虑输入的所有空间位置，当输入很小时，由于网络需要进行大幅下采样，通常特征加强效果不好
  因此，论文提出简单的local self-attention layer，将内容之间的关系(content-based interactions)作为主要特征提取工具而不是卷积的增强工具，能够同时处理大小输入，另外也使用这个stand-alone attention layer来构建全attention的视觉模型，在图像分类和目标定位上的性能比全卷积的baseline要好

Background

---

Convolution

  卷积神经网络(CNN)通常学习小范围(kernel sizes)的局部特征，对于输入$x\in {\mathbb{R}}^{h\times w\times d_{in}}$，定义局部像素集${\mathcal{N}}_k$为像素$x_{i,j}$周围$k$区域的像素，大小为$k\times k\times d_{in}$，如图1

  对于学习到的权重$W\in {\mathbb{R}}^{k\times k\times d_{out}\times k_{in}}$，位置$ij$的输出$y_{ij}\in {\mathbb{R}}^{d_{out}}$通过公式1计算所得，其中 N k ( i , j ) = { a , b ∣   ∣ a − i ∣ ≤ k / 2 , ∣ b − j ∣ ≤ k / 2 } \mathcal{N}_k(i,j)=\{a,b|\ |a-i|\le k/2,|b-j|\le k/2\} Nk​(i,j)={ a,b∣ ∣a−i∣≤k/2,∣b