将一致性正则化用于弱监督学习

 
✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

算法原理

核心逻辑

效果演示

使用方式

参考文献

---

本文所有资源均可在该地址处获取。

概述

本文复现论文 Revisiting Consistency Regularization for Deep Partial Label Learning[1] 提出的偏标记学习方法。程序基于Pytorch，会保存完整的训练日志，并生成损失变化图和准确度变化图。

偏标记学习（Partial Label Learning）是一个经典的弱监督问题。在偏标记学习中，每个样例的监督信息为一个包含多个标签的候选标签集合。目前的偏标记方法大多基于自监督或者对比学习范式，或多或少地会遇到低性能或低效率的问题。该论文基于一致性正则化的思想，改进基于自监督的偏标记学习方法。具体地，该论文所提出的方法设计了两个训练目标。其中第一个训练目标为最小化非候选标签的预测输出，第二个目标最大化不同视图的预测输出之间的一致性。

总的来说，该论文所提出的方法着眼于将模型对同一图像不同增强视图的预测输出对齐，以提升模型输出的可靠性和对标签的消歧能力，这一方法同样能给其他弱监督学习任务带来提升。

算法原理

首先，论文所提出方法的第一项损失（监督损失）如下：

Losssupervised(x)=−∑i=1cI(i∉candidates)⋅log⁡[1−fi(x)]Losssupervised​(x)=−i=1∑c​I(i​∈candidates)⋅log[1−fi​(x)]

其中，当事件 AA 为真时I(A)=1I(A)=1 否则 I(A)=0I(A)=0，f(⋅)f(⋅) 表示模型的输出概率。

然后，论文所提出方法的第二项损失（一致性损失）如下：

Lossconsistency(x)=KL-Divergence[f(x),label-distribution(x)]Lossconsistency​(x)=KL-Divergence[f(x),label-distribution(x)]

其在训练过程中通过所有增强视图预测结果的几何平均来更新标签分布：

label-distributioni(x)=I(i∈candidates)⋅f‾i(augment(x))∑jI(j∈candidates)⋅f‾j(augment(x))la