【论文阅读】Interpolation Consistency Training for Semi-Supervised Learning

论文下载

1. 摘要

我们介绍了插值一致性训练 (ICT)，这是一种简单且计算效率高的算法，用于在半监督学习范式中训练深度神经网络。 ICT 鼓励在未标记点的插值上的预测与在这些点的预测的插值一致。在分类问题中，ICT 将决策边界移动到数据分布的低密度区域。我们的实验表明，当应用于 CIFAR-10 和 SVHN 基准数据集上的标准神经网络架构时，ICT 实现了最佳性能。我们的理论分析表明，ICT 对应于某种类型的具有未标记点的数据自适应正则化，从而减少了在高置信度值下对标记点的过度拟合。

Notice: 在摘要中我们获取不到太多的关键信息，大佬的论文大多如此🤦‍♂️。但是可以捕捉到一个关键词，插值。

2. 前置知识

2.1 一致性正则化

半监督学习的重点是利用无标记数据来提升算法的正确率。其中，一致性正则化是半监督学习中的一种利用无标记样本的方案。一致性表现在对于无标记样本$u$，$f(u)=f(u+\sigma )$，其中$\sigma$表示对于无标记样本$u$的扰动。对于扰动的定义，有很多顶会文章【Ladder Network，$\Pi$ model， Mean-Teacher】。一致性正则化强制模型执行低密度分离假设。当且仅当决策边界穿过低密度路径时，才能同时满足这种一致性和小的预测误差。

2.2 插值算法

参考链接

3. ICT

$$L=L_S+w(t)\cdot L_{US}$$