视觉大模型--DeformableDETR

原理大家可以参考这篇文章，我这边主要介绍几个公式和整体源码理解。

1. 提出了多尺度可变形注意力(Multi-scale Deformable Attention, MSDA).基于此设计了 DETR 特有的利用多尺度特征检测的流程，对之后的很多工作有指导意义。
2. 提出了两阶段 DETR 的思路，利用编码器输出特征来初始化解码器的 query及其对应的位置。
3. 最早提出在解码器层之间优化 query对应位置的思路(iterative box refinement)

公式理解

 其实大家看到最多的注意力公式是第一个，第一个是针对一句话或者一个通道或者一张图片而言，即Q代表所有的query，K代表所有的键key，V代表所有的value，但是对于DeformableDETR他们的公式也是类似的，只是他针对的是一个query进行描述了注意力机制，这是从单个query的角度进行描述