YOLO算法改进Backbone系列之DaViT

摘要：在这项工作中，我们介绍了双注意视觉变换器（DaViT），这是一个简单而有效的视觉变换器架构，能够在保持计算效率的同时捕捉全局环境。我们建议从一个正交的角度来处理这个问题：利用 "空间标记 "和 "通道标记 "的自我注意机制。对于空间标记，空间维度定义了标记的范围，而通道维度定义了标记的特征维度。对于通道标记，我们有相反的情况：通道维度定义了标记的范围，而空间维度定义了标记的特征维度。我们进一步沿序列方向对空间和通道令牌进行分组，以保持整个模型的线性复杂性。我们表明，这两个self-attention是相互补充的。(i)由于每个通道标记包含整个图特征，通道注意力通过在计算通道之间的注意力分数时考虑到所有的空间位置，自然地捕捉到全局的联系和特征；(ii)空间注意力通过进行跨空间位置的细粒度的联系来完善局部特征，这反过来有助于通道注意力的全局信息建模。大量的实验表明，我们的DaViT在四个不同的任务上以高效的计算实现了最先进的性能。在没有额外数据的情况下，DaViT-Tiny、DaViT-Small和DaViT-Base在ImageNet-1K上分别以2830万、4970万和8790万的参数达到了82.8%、84.2%和84.6%的最高精度。当我们用15亿个弱监督图像和文本对进一步扩大DaViT的规模时，DaViT-Gaint在ImageNet-1K上达到了90.4%的最高精度。

双attention机制从两个正交的角度来进行self-attention：
（1）对spatial tokens进行self-attention，此时空间维度（HW）定义了tokens的数量，而channel维度（C）定义了tokens的特征大小，这其实也是ViT最常采用的方式
&#x