开放世界目标检测：检测区分出未知物体

开放世界目标检测：检测区分出未知物体

01 Abstract

开放世界目标检测旨在识别未见过类别的目标，并在提供注释后逐步识别这些目标。与传统的只限于预定义类别的范式不同，这种设置承诺通过使用与类别无关的信息来持续且通用地估计目标性。然而，实现目标性和类别信息之间的这种去相关化证明是具有挑战性的。在没有明确考虑的情况下，现有方法通常对未知目标的召回率较低，并且可能将它们误分类为已知类别。为了解决这个问题，我们在检测过程中利用了三个层次的正交性：首先，通过在设计的极坐标系统中使用彼此正交的特征集，将目标性和分类头分离。其次，引入了一种预测去相关损失，引导检测器进行更通用且与类别无关的预测。此外，我们提出了一种校准方案，帮助在整个训练过程中保持正交性，以减轻灾难性干扰并促进对以前未见过的目标的增量学习。我们的方法在开放世界和增量目标检测基准上进行了全面评估，证明了其在检测已知和未知目标方面的有效性。

代码地址：

https://github.com/feifeiobama/OrthogonalDet

02 Introduction

目标检测是计算机视觉中的一项基础任务，传统上遵循封闭世界的范式。尽管在这种方法上取得了显著进展，但它受限于假设所有要检测的目标类别在训练期间都是预定义且已知的。这本质上阻碍了检测器识别未知目标以及在不断变化的世界中学习新发现的目标。为了应对这些限制，提出了一种新的设置，称为开放世界目标检测，它通过自主发现未知目标并在获得标注后逐步识别它们，从而以更具适应性的方式处理目标检测，使得检测器能够在开放世界中持续运作。
然而，接受这种新的开放世界设置带来了几个关键挑战，这是由于问题的开放集和增量特性所致。核心在于，模型应能够推广以检测未知目标，并正确地将它们分配到一个特殊的未知类别。它还需要自适应地融入新的目标知识，而不会干扰已知类别。
我们通过解释以往方法的缺陷，揭示了它们在目标性和类别预测之间的依赖关系。基本原理有两个：首先，因为现有模型通常通过从已知类别中转移类别特定信息来检测未知目标，因此一些在先前分布中不太突出的通用目标性线索（如形状）可能会被忽视。这会影响未知目标的召回率，特别是那些在视觉上与已知类别不相似的目标。其次，依赖类别相关信息进行目标性预测导致在它们的特征空间中产生相关的决策边界，如图1a所示。因此，检测到的未见过目标往往会与已知目标相似，因此更有可能与它们混淆，这也在增量学习阶段引入了额外的干扰。后续章节还包含了更多关于这种新考虑的相关性的证据。
为了缓解上述目标性和类别信息之间的干扰，我们受正交化解耦文献的启发，提出在检测器的特征空间和预测空间中强制正交化。具体而言，在特征空间中，我们采用了极坐标系统，将每个目标特征分解为两个正交分量，即幅度和方向，如图1b所示。这两个分量分别用于目标性和类别预测，其中幅度对应于目标性，因为较大的幅度表示更显著的目标，而不同的方向则编码了关于已知和未知类别的信息。在这里，通过一种启发式策略，通过预测置信度低的分布外提议来区分未知类别。此外，为了增强目标性和类别信息之间的正交性，我们在预测空间中引入了一种去相关损失，用以惩罚目标性和类别预测之间的统计相关性。这两种设计共同促进了更与类别无关的检测结果，结果显示这显著提高了模型在已知和未知目标上的性能，从而在开放世界目标检测中实现了更好的目标发现。我们还注意到，在新增目标的增量学习过程中，所提出的正交化方案的效果可能会被削弱，因为在类别分布发生剧烈变化时，特征正交性不再成立。为了解决这个问题，我们开发了一种跨任务校准层，用于对齐不同任务的特征空间以进行联合正交化。具体而言，校准层在目标性和类别预测头之前进行交错排列，并学习一组任务特定的仿射变换，对因任务变化导致的潜在表示偏移进行修正。在推理过程中，我们使用一种路由算法来估计每个目标提议的任务，并相应地执行校准变换。这使得模型能够在不断变化的目标分布下持续保持正交性，从而生成更通用和与类别无关的预测。