论文阅读|目标检测之基于OTA，以最佳传输优化来实现新的基于CNN的一对多标签分配策略

• Paper: https://arxiv.org/abs/2103.14259
• Code: https://github.com/Megvii-BaseDetection/OTA（基于cvpods）

论文提出了一种基于最优传输理论的目标检测样本匹配策略，利用全局信息来寻找最优一对多样本匹配的结果，相对于现有的样本匹配技术，具有如下优势：1). 检测精度高。全局最优的匹配结果能帮助检测器以稳定高效的方式训练，最终在COCO数据集上达到最优检测性能。2). 适用场景广。现有的目标检测算法在遇到诸如目标密集或被严重遮挡等复杂场景时，需要重新设计策略或者调整参数，而最优传输模型在全局建模的过程中包括了寻找最优解的过程，不用做任何额外的调整，在各种目标密集、遮挡严重的场景下也能达到最先进的性能，具有很大的应用潜力。

摘要

当前的标签分配都旨在给每个gt独立地定义正负训练样本，而本文从全局角度出发来制定标签分配策略，提出将标签分配策略看作一种传输优化问题，该问题以再优化领域比较成熟。具体而言，我们将每对需求者（anchor）和提供者（gt）之间的单元传输代价定义为他们的分类和回归的损失之和。这样构建之后求最好的分配策略就转变成解最佳传输方案以得到一个最小的传输代价，而这可以通过Sinkhorn-Knopp迭代得到。

On COCO, a single FCOS-ResNet-50 detector equipped with Optimal Transport Assignment (OTA) can
reach 40.7% mAP under 1× scheduler, outperforming all other existing assigning methods.

1. Introduction

要训练检测器，为每个锚点定义cls和reg目标是必要的过程，在对象检测中称为标签分配。经典标签分配策略通常采用预定义规则来给每个anchor匹配gt对象或背景。

RetinaNet使用IoU阈值作为anchor的正负标签分配标准。

anchor free的FCOS把任何处于gt的边框内部（或者中心区域内）的点（实际上也可以看作这里样本是anchor points）视作正样本，但是这忽略了不同尺寸、形状和遮挡请跨下的物体其正负划分标准不同。

于是受此启发，出现一批动态的标签分配策略。

如ATSS根据统计特征来设计每个gt的划分标准，PAA等提出每个anchor预测的置信度得分可以作为标签分配的一个适当指标，高置信度的anchor容易通过网络学习，所以被分为正样本，而哪些低置信度的anchor应该被视为负样本。这种策略使得网络能够动态地为每个gt选择正样本anchor，从而实现SOTA表现。

然而，独立地为每个gt分配正负样本而不考虑上下文背景（context）得到的结果是次优的，当处理模糊样本anchors（同时被分配为多个gt的正样本的anchor，如图1所示）时，现存的分配策略都依赖于认为设定的分配规则（如FCOS将其分配给最小面积的gt，而其他想RetinaNet这样基于IOU则是将之分配给IoU最大的gt），作者认为将模糊的anchor分配给任何gt或背景都会对其他gt的梯度造成不利影响，因此，对模糊anchor样本的分配是特殊的，除了局部视图之外还需要其他信息。因此，更好的分配策略应该摆脱对每个gt对象进行最优分配的惯例，而转向全局最优的思想，换句话说，为图像中的所有gt对象找到全局的高置信度分配。

DeTR 是第一个尝试从全局角度考虑标签分配的工作。 它用transformer层替换了检测头，并使用匈牙利算法一对一分配，该算法仅对每个gt匹配一个具有全局最小损耗的query 。 但是，对于基于CNN的检测器，由于网络通常会产生与目标周围相邻区域相关的分数，因此每个gt会分配给许多anchors（即一对多），这也有利于训练效率。 以一对多的方式，分配具有全局视图的标签仍然完好无损。

为了在一对多的情况下实现全局最优分配结果，我们建议将标签赋值公式化为最优运输（OT）问题-优化理论中的线性规划（LP）的一种特殊形式。 提供一定数量的标签，并将每个锚定义为需要一个单位标签的需求。 如果锚从某个gt接收到足够数量的阳性标记，则此锚将成为该gt的一个阳性锚。 在这种情况下，每只吉卜赛阳性标记的数量可以解释为“在训练过程中需要多少阳性锚以更好地收敛”。 每个锚定对之间的单位运输成本被定义为它们的成对的clsandregloss的加权总和。 此外，由于每个锚点也应考虑为负号，因此我们引入了另一家供应商-Background，该供应商将提供负号标签以构成需要的其余标签。 背景和特定锚之间的成本仅定义为它们的成对分类损失。 制定公式后，将找到最佳分配解决方案的问题转换为最佳运输计划，可以通过现成的Sinkhorn-Knopp迭代快速有效地解决该问题[5]。 我们将这种分配策略命名为“最佳运输分配（OTA）”

实验表面，OTA带来了显著的进步。

2. Related work

2.1 Fixed Label Assignment

基于anchor的检测器中以固定的IoU阈值作为标签分配的标准的。

anchor-free中像FCOS这样只根据是否样本落入某个gt内部的。

2.2 Dynamic Label Assignment

GuidedAnchoring

MetaAnchor

NoisyAnchors

FreeAnchor

ATSS

PAA

AutoAssign

以上这些方法都是为单个物体寻找最佳分配策略，缺少从全局角度出发考虑上下文信息。DeTR展示了全局最佳匹配的思想，但是它所采用的匈牙利算法只适用于一对一的匹配方式。目前基于CNN的一对多标签分配中还缺少一个全局的最佳分配策略。

3. Method

3.1 Optimal Transport

最佳运输（OT）描述了以下问题：假设在某个领域中存在m个suppliers（供应者）和n 个demanders（需求者）。 第i个供应商持有$s_i$个单位商品，第j个需求者需要$d_j$个单位商品。 供应商i到需求者j之间每单位商品运输成本用$c_{ij}$表示。而OT的目的是找到一个最佳的传输计划 π ∗ = { π i , j ∣ i = 1 , 2 , . . . m , j = 1 , 2 , . . . n } π^∗=\left\{π_{i,j}|i= 1,2,...m,j= 1,2,...n \right\} π∗={ π