YOLOv8改进 | 注意力篇 | YOLOv8引入MSDA多尺度空洞注意力

1. MSDA介绍

1.1  摘要：作为事实上的解决方案，鼓励使用普通视觉变换器（ViT）对任意图像块之间的远程依赖性进行建模，而全局参与感受野会导致二次计算成本。 Vision Transformers 的另一个分支利用了受 CNN 启发的局部注意力，它只模拟小邻域中斑块之间的相互作用。 尽管这样的解决方案降低了计算成本，但它自然会受到较小的参与感受野的影响，这可能会限制性能。 在这项工作中，我们探索有效的视觉变压器，以在计算复杂性和参与感受野的大小之间寻求更好的权衡。 通过分析 ViT 中全局注意力的补丁交互，我们观察到浅层中的两个关键属性，即局部性和稀疏性，表明 ViT 浅层中全局依赖建模的冗余。 因此，我们提出多尺度扩张注意力（MSDA）来模拟滑动窗口内的局部和稀疏补丁交互。 通过金字塔架构，我们通过在低级阶段堆叠 MSDA 块和在高层阶段堆叠全局多头自注意力块来构建多尺度扩张变压器（DilateFormer）。 我们的实验结果表明，我们的 DilateFormer 在各种视觉任务上实现了最先进的性能。 在 ImageNet-1K 分类任务中，DilateFormer 实现了与现有最​​先进模型相当的性能&#x