Mean teacher are better role models-论文笔记

论文笔记

资料

1.代码地址

2.论文地址

https://arxiv.org/pdf/1703.01780

3.数据集地址

CIFAR-10
https://www.cs.utoronto.ca/~kriz/cifar.html

论文摘要的翻译

最近提出的Temporal Ensembling方法在几个半监督学习基准中取得了最先进的结果。它维护每个训练样本的标签预测的指数移动平均，并惩罚与该目标不一致的预测。然而，由于每个目标只改变一次，所以在学习数据量较大数据集时，Temporal Ensembling变得很笨拙。为了克服这个问题，我们提出了Mean Teacher，一种平均模型权重而不是标签预测的方法。作为一个额外的好处，Means Teacher提高了测试的准确性，并允许使用比Temporal Ensembling更少的标签进行训练。在不改变网络结构的情况下，Means Teacher在具有250个标签的SVHN上获得了4.35%的错误率，性能优于使用1000个标签训练的Temporal Ensembling。我们还表明，良好的网络架构对性能至关重要。结合Mean Teacher和残差网络，我们将CIFAR-10上的4000个标签从10.55%提高到6.28%，在ImageNet 2012上将10%的标签从35.24%提高到9.11%。

1背景介绍

深度学习在图像和语音识别等领域取得了巨大的成功。为了学习有用的抽象概念，深度学习模型需要大量的参数，从而使它们容易过度拟合(图1a)。此外，手动将高质量的标签添加到训练数据通常是昂贵的。因此，需要使用正则化方法来有效地利用未标记数据来减少半监督学习中的过拟合。

当感知稍有变化时，人类通常仍会认为它是同一个物体。相应地，分类模型应该偏爱为相似数据点提供一致输出的函数。实现这一点的一种方法是向模型的输入添加噪声。为了使模型能够学习更抽象的不变性，可以将噪声添加到中间表示，这一见解激励了许多正则化技术，例如Dropout。正则化模型不是最小化输入空间零维数据点的分类成本，而是最小化每个数据点周围的流形上的成本，从而将决策边界推离标记的数据点(图1b)。

由于未标记样本的分类代价是未定义的，因此噪声正则化本身并不有助于半监督学习。为了克服这一点，Γ模型[21]评估了有和没有噪声的每个数据点，然后在两个预测之间应用一致性成本。在这种情况下，该模型承担了教师和学生的双重角色。作为学生，它像以前一样学习；作为教师，它产生目标，然后作为学生使用这些目标进行学习。由于模型本身会产生目标，它们很可能是错误的。
如果对生成的目标赋予太多权重，则不一致的代价大于错误分类的代价，实际上，该模型遭受了确认偏差(图1c)，这一危险可以通过提高目标的质量来减轻

至少有两种方法可以提高目标质量。一种方法是仔细选择表示的扰动，而不是仅仅应用加性或乘性噪声。另一种方法是仔细选择教师模式，而不是勉强复制学生模式。与我们的研究同时进行的，Miyato等人。采取了第一种方法，并表明虚拟对抗性训练可以产生令人印象深刻的结果。我们采取第二种方法，并将表明它也提供了显著的好处。据我们了解，这两种方法是兼容的，它们的结合可能会产生更好的结果。然而，对它们的综合影响的分析超出了本文的范围。
因此，我们的目标是在不进行额外培训的情况下，从学生模型中形成更好的教师模型。作为第一步，考虑到模型的Softmax输出通常不能在训练数据之外提供准确的预测。这可以通过在推理时向模型添加噪声来部分缓解，因此嘈杂的教师可以产生更准确的目标(图1D)。这种方法被用在伪集协议中，并且最近被证明在半监督图像分类上效果良好。Laine和Aila将该方法命名为$\Pi$模型；我们将使用这个名称和他们的版本作为我们实验的基础。

$\Pi$模型可以通过Temporal Ensembling来进一步改进，它对每个训练样本保持指数移动平均预测。在每个训练步骤中，基于新的预测来更新该小批量中的样本的所有EMA预测。因此，每个实例的均线预测是由模型的当前版本和评估同一实例的早期版本的集合形成的。这种集合提高了预测的质量，并将它们用作教师预测来改善结果。然而，由于每个目标在每个时期只更新一次，因此学习到的信息以较慢的速度被纳入训练过程。数据集越大，更新的跨度就越长，在在线学习的情况下，根本不清楚如何使用时间整合。(每个历元可以对所有目标进行一次以上的周期性评估，但保持评估跨度恒定将需要每个历元进行O(N2)个评估，其中n是训练实例的数量。)

2论文的创新点

• 他会说有那几点，你总结一下

3 论文方法的概述

• 为了克服Temporal Ensembling方法的局限性，我们提出平均模型权重替代预测。由于教师模型是连续学生模型的平均值，我们将其称为Mean Teacher方法。
  
  在训练步骤上平均模型权重往往会产生比直接使用最终权重更精确的模型。我们可以在训练中利用这一点来构建更好的目标。教师模型使用学生模型的EMA权重，而不是与学生模型共享权重。现在，它可以在每一步而不是每一轮训练之后收集信息。此外，由于权重平均值改善了所有层的输出，而不仅仅是顶部输出，因此目标模型具有更好的中间表示。这些方面导致了Temporal Ensembling的两个实际优势：第一，更准确的目标标签导致学生和教师模型之间更快的反馈循环，从而产生更好的测试准确性。其次，该方法适用于大型数据集和在线学习。

更正式地，我们将一致性成本$\text{J}$定义为学生模型的预测(权重$\theta$和噪声$\eta$)和教师模型的预测(权重${\theta }^{\prime }$和噪声$\eta$