transformer一统天下？depth-wise conv有话要说

本文是对《ON THE CONNECTION BETWEEN LOCAL ATTENTION AND DYNAMIC DEPTH-WISE CONVOLUTION》的分析，作者在cnn领域找到了和local attention模块相似的机制，以此构建出了可以和swin　transformer分庭抗礼的CNN架构

局部自注意力机制研究

 作者提出局部自注意力网络如swin transforme和深度可分离卷积及其动态变体在稀疏连接这一思路上有相似之处，他们的主要区别在于以下两点：

1. 参数共享方面： 深度可分离卷积的参数共享在空间层面，而局部注意力的参数共享在通道层面；
2. 动态权重的计算方式：局部注意力中的计算方式是基于局部窗口中的点对位置的点积；而动态卷积中的是基于中心表征的线性映射或者全局池化的表征。

location attention

 对于局部自注意力机制，作者主要从 网络正则化策略包括稀疏连接和参数共享以及动态权重预测三个方面来研究。首先假定局部窗口的大小为$N_k$，即计算局部注意力的序列为$[x_{i1},x_{i2},x_{i{N}_k}]$,给出局部自注意力机制的计算公式如下。
$$\begin{gathered} {\mathbf{y}}_i=\sum _{j=1}^{N_k}{a}_{ij}{\mathbf{x}}_{ij} \\ {a}_{ij}=\frac{exp(\frac{{\mathbf{Q}}_i{\mathbf{K}}_{ij}^{}}{D}}{Z_i} \end{gathered}$$