半监督学习与数据增强

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：人工智能、话题分享

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

算法原理

核心逻辑

效果演示

使用方式

参考文献

---

 本文所有资源均可在该地址处获取。

概述

本文复现论文 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence[1] 提出的半监督学习方法。

半监督学习（Semi-supervised Learning）是一种机器学习方法，它将少量的标注数据（带有标签的数据）和大量的未标注数据（不带标签的数据）结合起来训练模型。在许多实际应用中，标注数据获取成本高且困难，而未标注数据通常较为丰富和容易获取。因此，半监督学习方法被引入并被用于利用未标注数据来提高模型的性能和泛化能力。

图1：半监督数据集

该论文介绍了一种基于一致性和置信度的半监督学习方法 FixMatch。FixMatch首先使用模型为弱增强后的未标注图像生成伪标签。对于给定图像，只有当模型产生高置信度预测时才保留伪标签。然后，模型在输入同一图像的强增强版本时被训练去预测伪标签。FixMatch 在各种半监督学习数据集上实现了先进的性能。

算法原理

FixMatch 结合了两种半监督学习方法：一致性正则化和伪标签。其主要创新点在于这两种方法的结合以及在执行一致性正则化时分别使用了弱增强和强增强。

FixMatch 的损失函数由两个交叉熵损失项组成：一个用于有标签数据的监督损失 lsls​ 和一个用于无标签数据的无监督损失 lulu​ 。具体来说，lsls​ 只是对弱增强有标签样本应用的标准交叉熵损失：

ls=1B∑b=1BH(pb,pm(y∣α(xb)))ls​=B1​b=1∑B​H(pb​,pm​(y∣α(xb​)))

其中 BB 表示 batch size，HH 表示交叉熵损失，pbpb​ 表示标记，pm(y∣α(xb))pm​(y∣α(xb​)) 表示模型对弱增强样本的预测结果。

FixMatc