本文介绍了Google总结的半监督学习（SSL）中的关键组成部分，包括一致性正则化、熵最小化和标准正则化。文中详细讨论了数据增强、MixMatch、UDA、ReMixMatch和FixMatch等方法，强调了在SSL中强增强和弱增强的重要性。同时，文章探讨了如何通过熵最小化策略和预测人工标签来提高模型的性能。所有方法都采用了正则化技术，如Exponential Moving Average（EMA）和weight decay。ReMixMatch和FixMatch引入了额外的损失项以提高稳定性。
文章目录
Google总结的三个SSL常用组成部分
Consistency Regularization
基于假设：模型输出对于输入注入一些噪声后鲁棒。注入噪声可以通过模型本身的随机性（如 dropout）或者直接加入噪声（如 Gaussian noise），也可以通过 data augmentation。
自UDA开始，实验表明应用更强的增强形式可以显着提高一致性正则化的性能。因此除MixMatch外的后续三个都利用了在ReMixMatch定义为Augmentation Anchoring的方法去提升一致性正则：使用弱增强图像的预测作为同一图像的强增强预测的目标。
计算一致性正则的方式，一般有 l 2 l_2 l2 loss（MixMatch），KL散度（UDA）和CE loss（ReMixMatch、FixMatch，同时ReMixMatch中做了消融实验证实
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
