目标检测之Label Assignment

Label Assignment字面意思译作标记分配，目标检测问题一般包括分类和回归两个子任务，那么其Label Assignment就包括下面两个方面：分类任务中目标类别的判别规则和回归任务中回归目标的表示形式。

分类任务中目标类别的判别规则

IoU阈值判别方法：通过 anchor 与 ground truth 框之间的 IoU 阈值判定是 positive、negative 还是 ignore。例如RetinaNet中IoU 高于 0.5 为 positive，低于 0.4 为 negative，其他为 ignore，anchor_based检测器中用的比较多。

IoU TopK：对于每个ground truth，把与它的IoU的TopK的anchor认为positive。优势在于，对于小物体ground truth，和它匹配的anchor可能很少，此时如果还根据IoU阈值来找正样本的anchor，那么小物体可能几乎没有anchor，而大物体被分配了很多anchor来训练，类似于以一种动态改变IoU阈值的方式来划分正负样本。

动态决定IoU好坏：Learning from Noisy Anchor中提出将回归后的IoU与分类的score相乘的结果作为anchor的评判标准，并用该结果替换0/1的label作为focal loss的输入，而且作为权重参与回归子任务。HAMBox中提出一种anchor补偿策略，对每个ground truth动态的补偿到k个anchor，根据回归的好坏把某些模型能够回归出来的anchor设为正样本。HAMBox的重点在于如何处理刚开始被assign为负的样本，而Learning from noisy anchor重点在于如何处理刚开始被assign为正的样本。来自知乎

根据统计分布确定IoU阈值：ATSS、AutoAssign待读。

其他方法列举：FCOS中（anchor_free），将不同层次特征图中的点根据缩放倍数映射回输入图像，若处于单一真值框中则认为是框中目标所属类别；若处于多个真值框重叠区域则认为属于面积最小的框中目标所属类别。
CenterNet待读。

后面读到其他paper再补充。

回归任务中回归目标的表示形式

bounding box：anchor_based和anchor_free（虽然没有anchor，但是回归目标的本质是一样的）的检测器一般都使用这种方式，只是box的表达形式不一样。以2D为例，一般包括下图列出的四种形式，其中1和3直接以坐标和宽高为回归目标，而2和4以坐标和宽高的偏移量为回归目标。前者在逻辑上比较直观，后者范围更小，不受原目标坐标宽高影响，而且能够很好地处理相似目标存在于不同位置的问题。

直觉上来讲，目标检测任务的Label Assignment应该是一种连续问题，没有真正意义上的正负样本之分，简单的根据IOU阈值定义正负样本，这样会将一个连续的Label Assignment问题变成了一个离散的Label Assignment问题，无法根本性解决目标检测的Label Assignment问题。最新的几种Label Assignment方法本质上是将目标检测的Label Assignment设计成连续的自适应Label Assignment。如何更好的学习正负样本的决策边界是关键。(来自博客)

参考

https://zhuanlan.zhihu.com/p/136048045

https://blog.youkuaiyun.com/weixin_36670529/article/details/107515275

https://blog.youkuaiyun.com/c9yv2cf9i06k2a9e/article/details/109475944