【论文阅读】Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning

《Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning》

1. 摘要

最近，基于一致性的方法在半监督学习（SSL）中取得了最先进的结果。这些方法总是涉及两个角色，显式或隐式教师模型和学生模型，并通过一致性约束来惩罚不同扰动下的预测。然而，这两个角色的权重是紧密耦合的，因为老师本质上是学生的指数移动平均线 (EMA)。在这项工作中，我们表明耦合的 EMA 教师会导致性能瓶颈。为了解决这个问题，我们引入了 Dual Student，它用另一个学生代替了老师。我们还定义了一个新概念，稳定样本，然后为我们的结构设计了一个稳定约束，使其可训练。此外，我们讨论了我们方法的两种变体，它们产生了更高的性能。

Notice：

1. 这篇论文是基于Mean Teacher进行改进的。
2. 本文表达在原有的Mean Teacher中，Teacher和Student两个模型是耦合在一起的，随着epoch的增加，会导致瓶颈。
3. 本文的贡献，就是提出两个独立模型参与训练，因为是独立的，所以提出稳定约束来约束知识在两个模型之间的传输。

2. 算法描述

看懂Loss函数的定义，就看懂了方法。本次的介绍采用自顶向下的顺序。
$${\mathcal{L}}^i={\mathcal{L}}_{cls}^i+{\lambda }_1{\mathcal{L}}_{con}^i+{\lambda }_2{\mathcal{L}}_{sta}^i$$

其中，总体损失可以分为三个部分：

• ${\mathcal{L}}_{cls}^i$有监督损失
• ${\mathcal{L}}_{con}^i$一致性损失，模型针对扰动是否稳定
• ${\mathcal{L}}_{sta}^i$ 稳定损失，也是本文的主要贡献

值得注意的是，稳定损失的设定是为了可靠的经验在两个模型之间流动。其中主要涉及到两个问题：

1. 怎样才是可靠的？
2. 经验如何流动？

2.1 怎样才是可靠的？

Definition 4.1 (Stable sample). Given a constant