实时域自适应检测SOTA方案RT-DATR，刷新多个跨域检测榜单！

论文：RT-DATR:Real-time Unsupervised Domain Adaptive Detection Transformer with Adversarial Feature Learning

Github: https://github.com/Jeremy-lf/RT-DATR

一、Abstract

尽管基于CNN和变换器的域自适应对象检测器在跨域检测任务中取得了重大进展，但令人遗憾的是，基于Transformer的实时检测器的域自适应尚未得到探索。直接应用现有的域自适应算法已被证明是次优的。本文提出了一种简单高效的实时域自适应检测变换器RT-DATR。基于RT-DETR作为我们的基础检测器，我们首先引入了一个局部对象级特征对齐模块，以显著增强对象传输过程中域不变性的特征表示。此外，我们引入了一个场景语义特征对齐模块，旨在通过对齐场景语义特征来提高跨域检测性能。最后，我们引入了一个域查询并将其与对象查询解耦，以进一步对齐解码器层内的实例特征分布，减少域间隙，并保持判别能力。各种基准测试的实验结果表明，我们的方法优于当前最先进的方法。

二、Introduction

目标检测是计算机视觉中的一项基本任务，侧重于图像中目标的定位和分类。它在各个领域都有不同的应用，包括自动驾驶、安全监控和工业生产。然而，大多数检测器严重依赖标记的训练数据，当测试环境与训练条件不同时，它们容易受到性能下降的影响。天气、相机角度和跨城市场景的变化等因素会显著影响其效果。这种现象，即由于训练和测试数据分布之间的差异而导致的性能下降，通常被称为域偏移。

为了应对这一挑战，研究越来越侧重于开发用于对象检测的无监督域自适应（UDA）算法。这些方法包括对抗性特征学习、图像翻译和使用师生框架的半监督方法。主要目标是使用来自源域的标记数据和来自目标域的未标记数据来训练在目标域中表现良好的检测器。例如，一些研究通过在检测器中加入域分类器和梯度反转层来更快地提高目标域的性能。然后，他们通过最小化分类器的损失同时最大化检测器的损失来学习域不变特征。此外，使用均值教师框架的方法通过教师和学生模型之间的交互来关注学习策略，以使检测器适应跨领域任务。

许多现有的域自适应方法都是为基于CNN的检测器精心设计的。然而，随着变换器在目标检测中的出色性能，基于变换器的域自适应目标检测受到了广泛关注，并取得了显著进展。与基于CNN的检测器不同，基于变换器的检测器通过对齐不同模块的特征分布来解决域偏移问题。这是通过集成特定于域的查询或利用文本到图像模型从源域合成类似于目标域的数据来实现的。这些方法逐步缩小了域差距，在目标域中实现了卓越的性能。

然而，域自适应检测变换器面临着几个挑战。一方面，它们在跨域检测中的高计算复杂性和次优性能显著限制了这些模型在现实世界场景中的适用性。尽管基于变压器的实时检测器在各个领域得到了广泛的应用，但它们的跨域有效性仍然没有得到充分的探索。另一方面，现有的域自适应方法往往严重依赖于特定的检测器架构。这不仅使得将这些方法直接转移到其他检测器变得困难，还可能增加模型的推理延