超级会员免费看
本文深入探讨了半监督学习，一种结合有标签和无标签数据进行学习的方法，尤其适用于标注数据有限的情况。文章详细阐述了平滑性、聚类和低密度分离等假设，并介绍了一致性正则化（包括$Pi$-Model、Temporal Ensembling、Mean Teacher、VAT、ICT和UDA）和伪标签（Label Propagation、Confirmation Bias、Noisy Student、Meta Pseudo Label）等主要技术。此外，还讨论了一致性正则化与伪标签相结合的最新方法，如MixMatch、ReMixMatch、FixMatch和DivideMix。这些方法在视觉任务中取得了显著成果，对理解半监督学习的理论和实践具有重要意义。
半监督学习(Semi-Supervised Learning)
Semi-Supervised Learning.
半监督学习(Semi-Supervised Learning)是指同时从有标签数据和无标签数据中进行学习，适用于标注数据有限、标注成本较高的场合。值得一提的是，目前半监督学习方法主要是为视觉任务设计的，而在自然语言任务中通常采用预训练+微调的学习流程。
在半监督学习中，通过有标签数据构造监督损失$$\mathcal{L}_s$$，通过无标签数据构造无监督损失$$\mathcal{L}_u$$，总损失函数通过权重项$\mu$加权：
$$ \mathcal{L} = \mathcal{L}_s + \mu \mathcal{L}_u $$
其中权重项$\mu=\mu(t)$通常设置为随训练轮数$t$变化的斜坡函数(ramp function)，以逐渐增大无监督损失的重要性。
半监督学习的一些假设：
- 平滑性假设 (Smoothness Assumption)：如果两个数据样本在特征空间的高密度区域中接近，则他们的标签应该相同或非常相似。
- 聚类假设 (Cluster Assumption)
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
