【论文阅读】TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING

原创

于 2022-07-20 23:51:05 发布 · 575 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#半监督学习 #深度学习 #自集成

本文探讨了一种在半监督学习中训练深度神经网络的新方法，利用网络在不同训练阶段的输出形成集成预测，以提高未标记数据的预测准确性。主要介绍了Π Model和Temporal Ensembling两种策略，Π Model依赖输入增强和Dropout，而Temporal Ensembling通过前一epoch的输出与当前输出的差异进行无监督学习，实现更快的收敛。论文中还提出了若干未解释的技术细节，如权重衰减公式，有待进一步研究。

下载
 代码地址

1. 摘要

在本文中，我们提出了一种简单有效的方法，用于在半监督环境中训练深度神经网络，其中只有一小部分训练数据被标记。我们引入了自集成，我们使用网络在不同时期的训练输出形成对未知标签的共识预测，最重要的是，在不同的正则化和输入增强条件下。与最近训练时期的网络输出相比，这种集成预测可以预期是对未知标签更好的预测器，因此可以用作训练的目标。

Notice: 文章开门见山的表示这个是半监督深度神经网络中的方法。主要的贡献是提出对于模型扰动的思路，提出了两个模型， $\mathbf{\Pi}$ model, Temporal ensembling。