【论文阅读】Mean teachers are better role models

下载

1. 摘要

最近提出的Temporal Ensembling在几个半监督学习基准中取得了最先进的结果。它维护每个训练示例的标签预测的EMA，并惩罚与此目标不一致的预测。然而，由于目标每个 epoch 只改变一次，因此在学习大型数据集时，Temporal Ensembling变得笨拙。为了克服这个问题，我们提出了 Mean Teacher，这是一种平均模型权重而不是标签预测的方法。作为一个额外的好处，Mean Teacher 提高了测试的准确性，并且可以使用比 Temporal Ensembling 更少的标签进行训练。

2. 前置知识

在阅读完论文摘要的同时，同时也伴随着懵逼，原因无非是缺少了这个领域的前置知识。这个小节主要就是介绍我在理解论文过程中补充了解的前置知识。

2.1. Temporal Ensembling

我们可以先翻译成时间集成，摘要中的第一句是在致敬前辈的发现，所以这个是state of art提出的。想要具体了解这篇论文中的知识点，可以看完之前的博客。

2.2. EMA

EMA(exponential moving average)，也叫指数移动平均，是时间序列分析中常用到的一种类型平均值。简单来说，EMA就是一个加权平均值。其中，它的一个重要的特点是随着时间的流逝，旧的观察值会呈现指数衰减。等式1，表示的是EMA的递推公式，详情可以参见博客。

S t = { S 0 , t = 1 ( 1 − α ) S t − 1 + α X t , t ≥ 2 (1) S_t = \begin{cases} S_0,& t=1 \\ (1-\alpha)S_{t-1}+\alpha X_t,& t \geq2 \\ \