Enhanced training of query-based object detection via selective query recollection

Abstract

本文研究了基于查询的目标检测器在最后解码阶段预测错误，而在中间阶段预测正确的现象。我们回顾了训练过程，并将这种被忽视的现象归因于两个限制:缺乏训练重点和解码序列的级联错误。我们设计并提出了一种简单有效的基于查询的目标检测器训练策略——选择性查询回忆(SQR)。随着解码阶段的深入，它会累积收集中间查询，并有选择地将查询转发到顺序结构以外的下游阶段。这样，SQR将训练重点放在后期阶段，并允许后期阶段直接处理来自早期阶段的中间查询。SQR可以很容易地插入到各种基于查询的对象检测器中，并在保持推理管道不变的情况下显著提高它们的性能。因此，我们将SQR应用于Adamixer、DAB-DETR和deformation - detr的各种设置(主干、查询数量、调度)，并始终带来1:4 ~ 2:8的AP改进。

网络架构图

图4。(a)逐级解码查询的基本流程，适用于训练和测试。(b).密集查询回忆。(c).选择性查询回忆。

methods

1. 查询结构：在 SQR 中，查询分为两部分：内容，它与特征图交互以产生高级对象信息，以及有助于定位和缩放对象的参考点。这种双重结构有助于缩小检测过程中特征交互的范围 [T1]。
2. 回忆过程：SQR 在模型的每个阶段回忆查询。这意味着每个查询的内容和相应的参考都会保留并在后续阶段使用。回忆过程允许查询数量呈几何级增长，从而增强模型从检测过程的各个阶段学习的能力 [T1]、[T3]。