Detrs beat yolos on real-time object detection

Abstract

然而，我们观察到nnms对yolo的速度和准确性产生了负面影响。最近，端到端基于变压器的检测器(DETRs)为消除NMS提供了一种替代方案。然而，高昂的计算成本限制了它们的实用性，阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测变压器(RT-DETR)，这是我们所知的第一个解决上述困境的实时端到端对象检测器。我们在先进的DETR基础上分两步构建RT-DETR:首先我们专注于在提高速度的同时保持精度，其次是在提高精度的同时保持速度。具体而言，我们设计了一种高效的混合编码器，通过解耦尺度内相互作用和跨尺度融合来快速处理多尺度特征，以提高速度。

网络架构图

RT-DETR概述。我们将主干最后三个阶段的特征输入到编码器中。高效混合编码器通过基于注意力的尺度内特征交互(AIFI)和基于cnn的跨尺度特征融合(CCFF)将多尺度特征转化为图像特征序列。然后，最小不确定性查询选择选择固定数量的编码器特征作为解码器的初始对象查询。最后，具有辅助预测头的解码器迭代优化对象查询以生成类别和框。

results

我们的RT-DETR-R50实现了53.1%的AP和108 FPS，而RTDETR-R101实现了54.3%的AP和74 FPS，在速度和精度上都优于最先进的类似规模的YOLO探测器和相同骨干的detr。