Co-DETR：基于协作混合分配训练的DETR

AI智韵

已于 2023-12-21 06:59:25 修改

阅读量1.9k

点赞数 14

分类专栏： RT-DETR实战与改进手册高质量AI论文翻译文章标签：人工智能深度学习

于 2023-12-20 21:47:07 首次发布

不能复制，转发

本文链接：https://blog.youkuaiyun.com/m0_47867638/article/details/135118419

版权

高质量AI论文翻译同时被 2 个专栏收录

184 篇文章 ¥99.90 ¥299.90

订阅专栏

RT-DETR实战与改进手册

18 篇文章 ¥79.90 ¥99.00

订阅专栏

本文提出Co-DETR，一种针对DETR的改进方法，解决了一对一匹配导致的训练效率低下的问题。通过协作混合分配训练，结合多种标签分配方式，增强编码器和解码器的性能。实验表明，Co-DETR在多个DETR变体上提高了训练速度和检测性能，特别是在COCO和LVIS数据集上实现了新的SOTA结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

https://arxiv.org/pdf/2211.12860v5.pdf
本文观察到一个现象，即在DETR中使用一对一的集合匹配时，被分配为正样本的查询太少，导致对编码器输出的监督稀疏，这严重影响了编码器的判别特征学习，反之亦然，影响了解码器中的注意力学习。为了缓解这个问题，我们提出了一种新颖的协作混合分配训练方案，即Co-DETR，从多种标签分配方式中学习更高效、更有效的基于DETR的检测器。这种新的训练方案可以通过训练多个由一对多标签分配（如ATSS和Faster RCNN）监督的并行辅助头，轻松提高端到端检测器中编码器的学习能力。此外，我们通过从这些辅助头中提取正坐标来进行额外的定制正查询，以提高解码器中正样本的训练效率。在推理过程中，这些辅助头被丢弃，因此我们的方法不会给原始检测器引入额外的参数和计算成本，同时也不需要手工制作的非最大抑制（NMS）。我们进行了广泛的实验来评估所提出的方法在DETR变体上的有效性，包括DAB-DETR、Deformable-DETR和DINO-DeformableDETR。最先进的DINO-Deformable-DETR与Swin-L的结合在COCO val上的AP可以从58.5%提高到59.5%。令人惊讶的是，与ViT-L骨干网结合，我们在COCO test-dev上实现了66.0%的AP，在LVIS val上实现了67.9%的AP

了解本专栏