Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data 解读

novelties：统一的理论分析，结合了半监督学习，无监督领域的改编，无监督的学习。

作者的分析基于一定的假设：

expansion：一个小的数据集会扩展成一个彼此之间大概率相关的集群，同一类的样本之间有比较好的连续性。

Separation： 不同的类别的样本邻居之间的重叠最小。

作者证明在这两个假设之下，自训练和输入一致性正则会达到比较高的预测准确度，也即作者提出了一个目标函数，会进行输入一致性的正则，会删除那些可能是错误的伪标签。

Under a simple and realistic expansion assumption on the data distribution, we show that self-training with input consistency regularization using a deep network can achieve high accuracy on true labels, using unlabeled sample size that is polynomial in the margin and Lipschitzness of the model. 

Input consistency regularization ensures that the model is locally consistent, and the expansion property magnifies the local consistency to global consistency within the same class。

作者认为作者提出的regularizer 等同于加强对抗样本和无监督学习的一致性。

作者将数据增强也归结为邻居，这样进一步增加了邻居的规模。

作者认为基于数据增强的一致正则和对抗训练，可以提升无标签数据的表现。

Contributions: <