将一致性正则化用于弱监督学习

[总结] 半监督学习方法: 一致性正则化(Consistency Regularization) 基于平滑假设和聚类假设, 具有不同标签的数据点在低密度区域分离, 并且相似的数据点具有相似的输出. 那么, 如果对一个未标记的数据应用实际的扰动, 其预测结果不应该发生显著变化, 也就是输出具有一致性. 阅读详情

 
✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

算法原理

核心逻辑

效果演示

使用方式

参考文献


本文所有资源均可在该地址处获取。

概述

本文复现论文 Revisiting Consistency Regularization for Deep Partial Label Learning[1] 提出的偏标记学习方法。程序基于Pytorch,会保存完整的训练日志,并生成损失变化图和准确度变化图。

偏标记学习(Partial Label Learning)是一个经典的弱监督问题。在偏标记学习中,每个样例的监督信息为一个包含多个标签的候选标签集合。目前的偏标记方法大多基于自监督或者对比学习范式,或多或少地会遇到低性能或低效率的问题。该论文基于一致性正则化的思想,改进基于自监督的偏标记学习方法。具体地,该论文所提出的方法设计了两个训练目标。其中第一个训练目标为最小化非候选标签的预测输出,第二个目标最大化不同视图的预测输出之间的一致性。

总的来说,该论文所提出的方法着眼于将模型对同一图像不同增强视图的预测输出对齐,以提升模型输出的可靠性和对标签的消歧能力,这一方法同样能给其他弱监督学习任务带来提升。

算法原理

首先,论文所提出方法的第一项损失(监督损失)如下:

Losssupervised(x)=−∑i=1cI(i∉candidates)⋅log⁡[1−fi(x)]Losssupervised​(x)=−i=1∑c​I(i​∈candidates)⋅log[1−fi​(x)]

其中,当事件 AA 为真时I(A)=1I(A)=1 否则 I(A)=0I(A)=0,f(⋅)f(⋅) 表示模型的输出概率。

然后,论文所提出方法的第二项损失(一致性损失)如下:

Lossconsistency(x)=KL-Divergence[f(x),label-distribution(x)]Lossconsistency​(x)=KL-Divergence[f(x),label-distribution(x)]

其在训练过程中通过所有增强视图预测结果的几何平均来更新标签分布:

label-distributioni(x)=I(i∈candidates)⋅f‾i(augment(x))∑jI(j∈candidates)⋅f‾j(augment(x))label-distributioni​(x)=∑j​I(j∈candidates)⋅f​j​(augment(x))I(i∈candidates)⋅f​i​(augment(x))​

由于数据增强的不稳定性,该论文通过叠加 KK 个不同的增强视图的一致性损失来提升方法性能。

最后,考虑到训练初期模型的预测准确率较低,一致性损失的权重被设置为从零开始随着训练轮数的增加逐渐提高:

λ(t)=min⁡(λmax⋅tT,λmax)λ(t)=min(λmax​⋅Tt​,λmax​)

综上所述,模型的总损失函数如下:

Losssummary=Losssupervised[weak-augment(x)]+λ(t)⋅∑k=1KLossconsistency[strong-augmentk(x)]Losssummary​=Losssupervised​[weak-augment(x)]+λ(t)⋅k=1∑K​Lossconsistency​[strong-augmentk​(x)]

核心逻辑

具体的核心逻辑如下所示:

def dpll_sup_loss(probs, partial_labels):
    loss = -torch.sum(torch.log(1 + 1e-6 - probs) * (1 - partial_labels), dim=-1)
    loss_avg = torch.mean(loss)
    return loss_avg


def dpll_cont_loss(logits, targets):
    logits_log = torch.log_softmax(logits, dim=-1)
    loss = F.kl_div(logits_log, targets, reduction='batchmean')
    return loss

def train():
    # main loops
    for epoch_id in range(total_epochs):
        # train
        model.train()
        for batch in train_dataloader:
            optimizer.zero_grad()
            ids = batch['ids']
            data1 = batch['data1'].to(device)
            data2 = batch['data2'].to(device)
            data3 = batch['data3'].to(device)
            partial_labels = batch['partial_labels'].to(device)
            targets = train_targets[ids].to(device)
            logits1 = model(data1)
            logits2 = model(data2)
            logits3 = model(data3)
            probs1 = F.softmax(logits1, dim=-1)
            # update targets
            with torch.no_grad():
                probs2 = F.softmax(logits2.detach(), dim=-1)
                probs3 = F.softmax(logits3.detach(), dim=-1)
                new_targets = torch.pow(probs1.detach() * probs2 * probs3, 1 / 3)
                new_targets = F.normalize(new_targets * partial_labels, p=1, dim=-1)
                train_targets[ids] = new_targets.cpu()
            # dynamic weight
            balancing_weight = max_weight * (epoch_id + 1) / max_weight_epoch
            balancing_weight = min(max_weight, balancing_weight)
			# supervised loss
            loss_sup = dpll_sup_loss(probs1, partial_labels)
            # consistency regularization loss
            loss_cont1 = dpll_cont_loss(logits1, targets)
            loss_cont2 = dpll_cont_loss(logits2, targets)
            loss_cont3 = dpll_cont_loss(logits3, targets)
            # all loss
            loss = loss_sup + balancing_weight * (loss_cont1 + loss_cont2 + loss_cont3)
            loss.backward()
            optimizer.step()
        if epoch_id in lr_decay_epochs:
            lr_scheduler.step()

以上代码仅作展示,更详细的代码文件请参见附件。

效果演示

本文基于网络 Wide-ResNet[2] 和数据集 CIFAR-10[3] 进行实验,偏标记的随机翻转概率为0.1。当然,本文所提供的程序不仅仅提供了上述的实验设置,同时也可以直接基于CIFAR-100(100类图像分类数据集),SVHN(数字号牌识别数据集),Fashion-MNIST(时装识别数据集),Kuzushiji-MNIST(日本古草体识别数据集)进行实验。仅仅需要替换运行命令的对应部分即可(使用说明见下文)

  • 损失曲线:

  • 准确率曲线:

使用方式

  • 解压附件压缩包并进入工作目录,并通过执行如下命令进行环境配置:
pip install -r requirements.txt

  • 如果希望运行训练程序,请执行如下命令:
python main.py -m [模型名称] -d [数据集名称] -p [翻转概率]

  • 通过如下命令执行本文展示的实验:
python main.py -m "Wide-ResNet-34-10" -d "CIFAR-10" -p 0.1

  • 实验结果保存在./data/logs/ 目录下,并以执行时间为名称。

参考文献

[1] Wu D D, Wang D B, Zhang M L. Revisiting consistency regularization for deep partial label learning[C]//International conference on machine learning. PMLR, 2022: 24212-24225.

[2] Zagoruyko S. Wide residual networks[J]. arXiv preprint arXiv:1605.07146, 2016.

[3] Krizhevsky A, Hinton G. Learning multiple layers of features from tiny images[J]. 2009.

 ​​

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

半监督学习笔记(二):一致性正则化 Introduction 原文链接 https://arxiv.org/abs/2006.05278v2https://arxiv.org/abs/2006.05278v2 昨天的更新讲了一下半监督学习的Overview部分,简要的复习一下: 半监督学习的概念:大部分数据没有标注,少部分数据有标注,然后半监督学习要对这些数据执行良好的分类任务。 半监督学习的方法:一致性正则化,代理变量,生成模型,基于图的方法。 半监督学习的基本假设:平滑性假设、聚类假设、流形假设 半监督学习的相关问题:主动学 阅读详情

相关推荐

AI人工智能领域弱监督学习的开源资源推荐

本文旨在为AI从业者和爱好者提供一份全面的弱监督学习开源资源指南,涵盖从基础理论到实践应用的完整知识体系。我们将重点关注那些能够帮助开发者减少数据标注成本、提高模型训练效率的开源工具和框架。本文将首先介绍弱监督学习的核心概念,然后详细分析其工作原理,接着推荐一系列实用的开源工具,最后通过实际案例展示如何应用这些工具解决现实问题。弱监督学习(Weakly Supervised Learning):使用不完整、不精确或噪声较大的标注数据进行模型训练的学习范式。

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 1070

⌈ 传知代码 ⌋ 将一致性正则化用于弱监督学习

本文复现论文提出的偏标记学习方法。程序基于Pytorch,会保存完整的训练日志,并生成损失变化图和准确度变化图。偏标记学习(Partial Label Learning)是一个经典的弱监督问题。在偏标记学习中,每个样例的监督信息为一个包含多个标签的候选标签集合。目前的偏标记方法大多基于自监督或者对比学习范式,或多或少地会遇到低性能或低效率的问题。该论文基于一致性正则化的思想,改进基于自监督的偏标记学习方法。具体地,该论文所提出的方法设计了两个训练目标。

Dream_Y.ocean的博客 1341

从基础到进阶:AI人工智能领域弱监督学习全攻略

本文旨在解决AI从业者的"数据焦虑":当你面对标注成本高、标注质量低或标注数据不足的场景时,如何用弱监督学习技术突破限制?我们将覆盖弱监督学习的基础概念、核心方法、实战案例(附Python代码),并探讨其在医疗、NLP、推荐系统等领域的应用。本文采用"从现象到本质,从理论到实战"的结构:先通过生活案例引出弱监督的必要性,再拆解三大核心类型;接着用代码和数学公式讲解底层原理,最后结合真实项目演示如何落地,并展望未来趋势。弱监督学习:使用不完美标注(数量少、精度低或存在错误)训练模型的机器学习范式。

AI算力网络与通信的博客 854

为什么通过一致性正则化方法就可以避免将所有未标记数据集分配给同一类?

这意味着,如果对于原始样本 x,模型分配了某个类别的标签 y,那么对于经过轻微扰动后的样本 x’,模型也应该分配相同或相似的标签 y’。一致性正则化可以通过鼓励模型对未标记数据的不同变体具有一致性反应,降低标签噪声的影响,减少将未标记数据分配到错误类别的可能性。综上所述,一致性正则化方法通过增强模型的稳健性、泛化性能和对数据的多样性理解,可以有效地避免将所有未标记数据都分配给同一类别。通过引入一致性正则化,模型更有可能学到对数据的鲁棒性表示,而不是过于依赖训练数据中的噪声或细微变化。

qq_45571006的博客 613

弱监督学习--半监督学习(4):MixMatch: A Holistic Approach to Semi-Supervised Learning

前言 2019 年,Google 的研究团队提出了半监督学习技术MixMatch。MixMatch 可以认为是近几年半监督学习技术的集大成者,融入了Consistency Regulation、伪标签思想、entropy regularization 以及 MixUp 技术,最终实现了显著优于之前半监督学习技术的效果。 目前半监督学习的几种方法:一个是熵最小化,也就是说,尽可能让模型对无标签样本的预测置信度高;另外一个是,连续性,当样本出现扰动的时候,模型的输出还是非常的 robust;还有一个是泛化能力,

qq_44015059的博客 2712

半监督学习与弱监督学习

半监督学习(Semi-supervised Learning)是机器学习中的一个重要分支,它介于监督学习和无监督学习之间。在半监督学习的场景中,我们同时使用有标签的数据和无标签的数据来训练模型。

天涯学馆 148

正则化的代码?

我们用正则化来缓解泛化效果差的问题,就是给权重一个矩阵,加在loss上。 如图所示,正则化后的loss,是原来的loss再加上正则化项,正则化项就是正则化参数*loss(w),这个,跟吴恩达讲的一模一样。 正则化项的表示代码为tf.contrib.layers.l2_regulariz...

chenyi9981的博客 3012

医图论文 Arxiv‘25 | HisynSeg:基于图像混合合成和一致性正则化的弱监督病理图像分割

组织语义分割是计算病理学中的关键任务之一。为了避免昂贵且费力的像素级标注获取,许多研究尝试采用类激活图(CAM)这一弱监督学习方案来实现像素级组织分割。然而,基于CAM的方法容易受到欠激活和过激活问题的影响,导致分割性能较差。为了解决这一问题,作者提出了一种基于图像混合合成和一致性正则化的新型弱监督语义分割框架,称为HisynSeg。具体来说,通过生成带有像素级掩码的合成病理图像来进行全监督模型训练,其中提出了基于Mosaic变换和Bezier掩码生成的两种合成策略。

小白学视觉 146

弱监督学习和半监督学习

弱监督学习和半监督学习

jacke121的专栏 1836

有标记样本少的情况下的弱监督学习:Weakly Supervised Learning in the Case

作者:禅与计算机程序设计艺术 1.简介 有标记样本是指有些样本已经被赋予了标签(即有标签样本),而另一些没有被赋予标签的样本可以称之为无标签样本或是非标记样本。在机器学习任务中,通常只有少量带有标签的样本存在,例如大多数图像分类数据集中,只有几百到上千张图片被标记。这种情况下,如何训练模型,使得模型能够

AI天才研究院 3170

从零开始学弱监督学习:AI工程师必备的实战技巧

本文旨在为AI工程师提供弱监督学习的系统性知识框架和实战指南。我们将覆盖从基础理论到高级应用的完整知识链,特别关注工业场景中的实际挑战和解决方案。本文将首先介绍弱监督学习的核心概念,然后深入分析主要算法原理,接着通过实战案例展示应用方法,最后讨论未来发展趋势和挑战。弱监督学习:使用不完整、不精确或不准确监督信号训练机器学习模型的方法标注噪声:训练数据中标签与真实情况之间的偏差或错误半监督学习:同时利用少量标注数据和大量未标注数据进行学习多实例学习:训练数据以"包"的形式组织,只有包级别标签可用。

AIGC应用创新大全的博客 808

【点云语义分割】自适应一致性正则化的弱监督点云分割

本文探讨了将弱监督学习中常用的一致性正则化应用于具有多种特定数据增强功能的点云学习中,而对这一问题的研究还不够深入。我们发现,将一致性约束直接应用于弱监督点云分割的方法有两大局限性:传统的基于置信度的选择会导致伪标签产生噪声而舍弃不可靠的伪标签又会导致一致性约束不足。因此,我们提出了一种新颖的可靠性自适应一致性网络(RAC-Net),利用预测信度和模型不确定性来衡量伪标签的可靠性,并对所有未标记点进行一致性训练,同时根据相应伪标签的可靠性对不同点采用不同的一致性约束。

qq_43583311的博客 1740

机器视觉工程师如何进行弱监督学习应用

弱监督学习是解决机器视觉中标注数据稀缺问题的有效方法。数据划分:将数据集分为少量标注数据和大量未标注数据初始训练:使用标注数据训练基础模型伪标签生成:利用模型对未标注数据进行预测,选择高置信度预测作为伪标签伪标签训练:将伪标签数据加入训练,进一步提升模型性能迭代优化:重复上述过程,不断扩大有效训练数据规模这种方法能够在标注数据有限的情况下,充分利用未标注数据,有效提升模型性能。在实际应用中,机器视觉工程师可以根据具体任务特点,调整伪标签生成策略、置信度阈值和训练参数,以获得更好的效果。

zhangzhechun_02的博客 88

从涂鸦到精准分割:DIAS数据集的弱监督学习实战解析

本文深入解析了基于DIAS数据集的弱监督学习实战方案,以解决颅内动脉分割中标注数据稀缺的难题。重点对比了SALE与RDFA两种低成本标注策略的效能,并详细拆解了结合交叉伪监督的涂鸦学习框架与随机补丁自训练策略,为开发者提供了一套可复现的高性能医学影像分割技术路径。

weixin_29072299的博客 359

HybridCR:基于混合对比正则化的弱监督3D点云语义分割(CVPR 2022)

HybridCR: Weakly-Supervised 3D Point Cloud Semantic Segmentation via Hybrid Contrastive Regularization论文:https://openaccess.thecvf.com/content/CVPR2022/html/Li_HybridCR_ Weakly-Supervised_3D_ Point_Cl...

3D视觉工坊 905

Semi-Supervised-Transfer-Learning:半监督转移学习的自适应一致性正则化(CVPR 2021)

半监督转移学习的自适应一致性正则化 该存储库用于以下论文中介绍的自适应知识一致性和自适应表示表示一致性: Abulikemu Abuduweili,Li Xingjian Li,Humphrey Shi,徐成中和Dou Dedou,“半监督转移学习的自适应一致性正则化”。 该代码是在具有Tesla V100 GPU的CentOS 6.3环境(Python 3.6,PyTorch 1.1,CUDA 9.0)上开发的。 内容 介绍 在这项工作中,我们考虑半监督学习和转移学习的结合,从而导致一种更实用和更具竞争力的范例,该范例可以利用源域中强大的预训练模型以及目标域中的带标签/未带标签的数据。 为了更好地利用预训练权重和未标记目标示例的价值,我们引入了自适应一致性正则化,它由两个互补组成部分:源模型和目标模型之间((标记和未标记)示例上的自适应知识一致性(AKC);以及目标模型上带标签和未

弱监督学习 (Weakly Supervised Learning,WSL)

训练模型,以解决的核心问题。

不断积累不断学习 1690

基于STM32F407的摄像头(不带FIFO的OV7670)图像采集及LCD显示实验-笔记整理

硬件说明 STM32F4开发板 stm32f4系列的芯片处理的能力可以说非常强大了的,而且内部还自带有数字摄像头接口(DCMI),可以说stm32f407的核心板和不带FIFO的摄像头模块OV7670简直就是绝配! 我手上的这块张这个样子 (图片来源:某宝): F4系列的DCMI接口内部结构框图如下图3所示,具体的配置使用方式可以参考以下这篇博文:《stm32f4的数字摄像头接口(DCMI)使用》 这位博主大大已经很详细地介绍了DCMI接口的具体使用方法和原理,更重要的是里面还有接口的配置函数,虽然不完

LiangWF22的博客 2万+

面向弱监督学习(Weakly Supervised Learning)​​场景的故障诊断

在工业设备、航空航天、能源系统等领域,​​弱监督学习(Weakly Supervised Learning)​​为故障诊断提供了一种高效解决方案,尤其在标注数据稀缺或标签质量有限的场景下。

weixin_71288092的博客 1260

自动换挡频率计的设计精髓:如何用数字电路优雅地解决量程切换难题

本文深入解析了自动换挡频率计的设计精髓,重点探讨如何利用数字电路优雅解决量程切换难题。通过74系列通用数字集成电路构建智能化的自动量程切换系统,详细介绍了状态检测、决策逻辑和档位执行等核心模块的设计方法,并对比了不同实现方案的优劣,为电子测量领域的工程师提供了实用的硬件设计参考。

weixin_27869497的博客 409

一套C#接口通吃安川/发那科/库卡:工业机器人统一控制框架设计与产线踩坑实录

我们把机器人的通用能力抽象为接口,涵盖连接、运动、IO、寄存器、状态、报警六大类能力,所有品牌适配器都必须实现这个接口。/// 工业机器人统一控制接口// 基础连接// 运动控制// IO与寄存器// 状态与报警// 事件工业机器人统一控制框架的本质,不是把所有品牌的功能都做平,而是找到通用能力的最大公约数,通过分层抽象把品牌差异隔离在底层。上层业务只关注工艺和流程,不需要关心机器人是什么品牌、用什么SDK、通信协议是什么。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 405
上一篇: 图像边缘算法复现研究
下一篇: 即插即用的3D神经元注意算法!
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值