【目标检测】DN-DETR

一、引言

论文： DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
作者： IDEA
代码： DN-DETR
注意： 该算法是在DAB-DETR基础上的改进，在学习该算法前，建议掌握DETR、DAB-DETR等相关知识。
特点： 指出DETR收敛慢的另一个主要原因为二分图匹配的不稳定性，提出对真实目标的锚框信息和标签信息施加噪声并将其喂入解码器中，使解码器进行去噪操作的训练方式。去噪部分引入了真实目标信息且不需要二分图匹配，所以有利于原始匹配部分的稳定从而加速收敛。

二、为什么降噪能加速DETR的训练

2.1 使匈牙利匹配更加稳定

前期的优化过程通常是随机的，导致每次的预测结果可能有比较大的波动。例如，对于同一个查询，第一次预测该查询与图片中的狗🐶匹配，第二次预测该查询可能就与图片中的汽车🚗匹配了。匈牙利匹配结果的巨大变化，进一步导致优化目标的不一致，模型需要反反复复进行学习修正才能逐渐稳定，所以收敛速度自然就慢了。

所以作者引入施加了噪声的真实目标信息，包括目标的中心坐标、宽高、类别。因为它们有明确的对应目标，将它们也添加到解码器中获得的预测是不需要进行二分图匹配的，也就缓解了匈牙利匹配的不稳定性。

为描述训练前期匈牙利匹配的不稳定性，作者提出了一种指标：

其中，$\mathbb{I}(\cdot )$为指示函数，括号中内容成立为1，否则为0；$V_n^i$表示第$i$个epoch的第n个查询经解码器后得到的预测目标的匹配情况，定义如下：

其中， O i = { O 0 i , O 1 i , ⋯   , O N − 1 i } \mathbf{O}^i=\{O_0^i,O_1^i,\cdots,O_{N-1}^i\} Oi={ O0i​,O1i​,⋯,ON−1i​}表示N个预测目标， T = { T 0 , T 1 , ⋯   , T M − 1 } \mathbf{T}=\{T_0,T_1,\cdots,T_{M-1}\} T={ T0​,T