谷歌最新无监督数据增强研究，全面超越现有半监督学习方法

Google AI最新研究用无监督数据增强推进半监督学习，取得令人瞩目的成果。该方法超越了所有现有的半监督学习方法，并实现了仅使用极少量标记样本即可达到使用大量标记样本训练集的精度。

深度学习之所以能够成功的关键因素，是算法的进步，以及并行处理硬件（GPU / TPU）以及大型标记数据集（如ImageNet）。

然而，当标记数据稀缺时，深度学习就像缺了一条腿。在这种情况下，需要应用数据增强方法，例如对句子进行释义或将图像进行旋转，以有效地增加标记的训练数据的量。

如今，在诸如自然语言处理（NLP），视觉和语音等各种领域的数据增强方法的设计上，已经取得了重大进展。不幸的是，数据增加通常仅限于监督学习，需要标签从原始示例转移到增强示例。

 

上图：基于文本（顶部）或基于图像（底部）训练数据的示例增强操作。

在谷歌最近“用于一致性训练的无监督数据增强（UDA）”的研究中，证明还可以对未标记数据执行数据增强，以显著改善半监督学习（SSL）。

谷歌的结果促进了半监督学习的复兴，而且还发现3点有趣的现象：

（1）SSL可以匹配甚至优于使用数量级更多标记数据的纯监督学习。

（2）SSL在文本和视觉两个领域都能很好地工作。

（3）SSL能够与迁移学习很好地结合。

此外谷歌还开放了代码在GitHub。

GitHub地址：