Mean teachers are better role models 学习笔记

相关介绍

Mean teachers 是在 Π-model，Temporal ensembling的基础上进一步优化了前边的两个模型的问题。比如Temporal ensembling模型只有在训练完成一个epoch之后才会进行更新，当数据集越大的时候，它更新的周期就越长，学到的信息融入到训练过程就变的很慢，而且它很难以适用于在线学习。本文提出了平均权重的方法，而不是Temporal ensembling中采用的label平均的方法，可以在每一个训练步之后更新teacher model，及时的指导student model学习，形成一个良好的循环。

主要思想

主要利用一致性正则化和MEA 。

算法过程

①构建一个普通的监督模型，然后copy一份一样的，分别命名为student，teacher
②在训练的每一步，使用相同的minbatch输入到student和teacher模型中，分别加入不同的随机增强或者噪声。
③在student模型预测值和teacher模型预测值计算一个MSE(一致性正则化)，如果对于有标签的数据还需要将student模型预测值和真实标签之间的交叉熵损失。
④总损失就是③中说明的两种损失，利用梯度下降优化student模型并且更新参数。一致性损失如下图:

⑤每一步训练完之后，利用student权重的EMA对teacher模型的权重进行更新。
${\theta }_t^{\prime }=\alpha {\theta }_{t-1}^{\prime }+(1-\alpha ){\theta }_t$ ,其中$\alpha$是平滑系数超参数

整体流程如下所示:
对于student和teacher两个模型来说都可以进行预测，但是通过实验可以看出来teacher的结果会更好

实验

对比结果:

参考资料

https://arxiv.org/abs/1703.01780
https://blog.youkuaiyun.com/Zhangsan0219/article/details/121185869