Unsupervised Data Augmentation for Consistency Training

Abstract

当标准数据不足时，半监督学习展现出很大的优势。
近期方法的一个共同点是在大量 无标注 数据上使用 consistency training 来约束模型预测结果，使其具有 输入噪音不变性（invariant to input noise）.

本文从一个新的角度出发，探究如何有效地为无标签数据添加噪音。并且指出 噪音的质量 尤其是那些由高级数据增强方法产生的噪音的质量，在半监督学习中扮演了关键的角色。

在同样的 consistency training 框架下，通过使用高级的数据增强方法（如 RandAugment and back-translation）来代替简单的加噪操作，我们的方法在 6 种自然语言和 3 种视觉任务上带来显著的提升。

在 IMDb 文本分类数据集上，在只有 20 个标注样本的情况下，我们的方法将错误率降到了 4.20，好于在 25,000 个标注样本上训练的 SOTA 模型。

在一个标准的半监督学习 benchmark CIFAR-10 上，我们的方法超过之前的所有方法并且将错误率降低到了 5.43. 做到这一点，我们只用了 250 个标注样本。

我们的方法和迁移学习也能很好地结合。