Paper Reading:《Consistent-Teacher: 减少半监督目标检测中不一致的伪目标》

简介

题目：《Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in Semi-supervised Object Detection》， CVPR’23(Highlight)，《一致性教师：减少半监督目标检测中不一致的伪目标》
日期： 2023.3.28(v3)，v1：2022.9.4
单位： 商汤、上海AI实验室、新加坡国立大学、北京大学
论文地址： http://arxiv.org/abs/2209.01589
GitHub: https://github.com/Adamdad/ConsistentTeacher

作者

研究方向主要是模型架构研究、半监督学习、目标检测

共同一作

个人主页：https://adamdad.github.io/

其他作者

• 摘要
  在本研究中，我们深入研究了半监督目标检测（SSOD）中伪目标的不一致性。我们的核心观察结果是，振荡的伪目标破坏了精确探测器的训练。它给学生的训练注入了噪音，导致了严重的过拟合问题。因此，我们提出了一个系统的解决方案，称为Consistent Teacher，以减少不一致性。首先，自适应锚分配（ASA） 取代了基于静态IoU的策略，使学生网络能够抵抗噪声伪边界盒。然后，我们通过设计三维特征对齐模块（FAM-3D） 来校准子任务预测。它允许每个分类特征在任意尺度和位置自适应地查询回归任务的最优特征向量。最后，高斯混合模型（GMM） 动态修正了伪框的得分阈值，在早期阶段稳定了GT的数量，并弥补了训练过程中不可靠的监督信号。Consistent Teacher在SSOD的大量评估中提供了强有力的结果。它在ResNet-50主干上实现了40.0mAP，只给出了10%的注释MS-COCO数据，这比以前使用伪标签的基线高出了约3mAP。当在带有附加未标记数据的完全注释MS-COCO上训练时，性能进一步提高到47.7mAP。

---

本文通过分析现有半监督目标检测(SSOD)伪标签的偏移问题与不稳定性(Inconsistancy)，提出了一种新的半监督目标检测器Consistent-Teacher。本文被CVPR2023评为Highlight（占提交总数的2.5%）。

• 什么是伪标签的不稳定性？
  在半监督目标检测中，生成的伪标签存在不稳定(Inconsistency)的问题。主流的半监督目标检测器生成伪标签时是基于当前时刻的Teacher模型的预测。与全监督训练时的静态标签（在训练过程中不会变化）不同，一个无标签图像中一个物体的伪标签可能在训练过程中某个时间点出现，不断变化，直至最后稳定或消失。在使用不稳定的伪标签监督下进行训练会导致一系列问题，学生网络的优化目标不一致，会导致模型训练的不稳定和性能下降，以及模型收敛速度的下降。
  

• 提出了3种不稳定性（设计inconsistency问题）并分析原因：
  

  1. Assignment inconsistency：分配不一致。
     当前主流的两阶段（Two-stage）或者单阶段（Single-stage）目标检测网络都使用基于IoU阈值的静态anchor分配方法，这种方法对于伪标签框中的噪声非常敏感。即使伪标签框中只有微小的噪声，伪标签的不稳定性也会导致anchor分配的不同。
  2. Subtasks inconsistency：下游任务的不一致性，即分类Cls-回归Reg任务的不一致性。
     在主流的半监督目标检测方法中，分类与回归任务的不一致也是导致不稳定性的一个重要原因。为了筛选高质量的伪标签，通常会使用分类置信度作为指标，并设置阈值来筛除低置信度的伪标签框。然而，一个伪标签框的分类置信度好坏并不一定能反映其定位准确度的高低。因此，利用分类置信度进行伪标签筛选的方法会进一步加剧伪标签在训练过程中的不稳定性。
  3. Temporal inconsistency：时序不一致。
     固定阈值筛选伪标签的方法同样会导致不一致性。在半监督目标检测中，为了筛选高质量的伪标签进行训练，常常采用一个固定的阈值对分类的置信度进行筛选。然而，这种方法会导致在训练不同阶段的不一致性。在训练初期，由于模型对预测结果不够自信，固定的阈值会导致过少的伪标签框被筛选，而随着模型的不断训练，每张图的伪标签框数量会逐渐增多，直到训练后期过多。这种伪标签框数量的不一致同样会导致 Student 网络训练的不一致。