FixMatch论文摘记

已于 2023-03-26 21:18:24 修改
阅读量401 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 机器学习 深度学习 人工智能
于 2023-03-26 14:10:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qiyue666/article/details/129778873

FixMatch（ReMixMatch的大大简化版本）

对于无标签样本前人的做法

基于一致性正则化

最小化交叉熵损失或均方误差损失，使得模型对于同一样本的两种不同数据增强的预测结果尽可能地接近。

基于伪标签

用有标签样本训练好的模型为无标签样本打伪标签qb，设定一个置信度阈值τ，选取伪标签置信度大于阈值τ的样本，用其伪软标签qb和argmax（qb）得到的one-hot标签qb^（伪硬标签）计算交叉熵损失，使得模型对所做出的预测尽可能地自信（熵最小化）

作者的做法（对于无标签样本的处理结合了上述两种思想）

弱数据增强（flip裁剪、shift平移）；强数据增强（RandAugment、CTAugment、Cutout），Cutout默认地用于RandAugment和CTAugment之后（各数据增强方法的参数设置见原论文2.3节）

FixMatch的损失包含两部分，ls是对有标签样本而言的、lu是对无标签样本而言的。

ls是对有标签样本的损失，是标准的交叉熵损失，使得模型对弱数据增强的预测结果和原样本的标签pb尽可能地接近。

在这里插入图片描述

α(xb)代表对样本xb做弱数据增强，B为batchsize，pm为模型。

lu是对无标签样本的损失

最低0.47元/天 解锁文章

200万优质内容无限畅学
FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
qq_22583741的博客
08-27 1070
半监督学习（SSL）提供了一种有效利用未标注数据来提升模型性能的方法。近年来，该领域取得了快速进展，但也伴随着更复杂方法的需求。在本文中，我们提出了FixMatch，这是一种显著简化现有SSL方法的算法。FixMatch首先利用模型对弱增强未标注图像的预测生成伪标签。对于给定的图像，只有当模型产生高置信度预测时，才保留该伪标签。然后，模型在输入同一图像的强增强版本时，进行训练以预测该伪标签。
FixMatch：Simplifying Semi-Supervised Learning with Consistency and Confidence【论文速读】
kganamg的博客
04-26 1303
这篇论文提出了一种名为"FixMatch"的半监督学习方法,该方法主要思想就是使用弱增强后未标记图像作为伪标签,再用强增强后同一图像作为训练样本,从而利用少量标注样本获得更好分类结果. 具体来说:1. FixMatch首先使用模型在弱增强后未标记图像上得到预测结果作为伪标签,然后再用强增强后同一图像预测结果作为真实标签;我们的算法 FixMatch 使用一致性正则化和伪标记来生成人工标签。打破了最近最先进的方法的趋势，这些方法结合了越来越复杂的机制[4,54,3]，并产生了一种更简单，但也更准确的方法。
论文阅读：FixMatch：simplifying-semi-supervised-learning-with-consistency-and-confidence
qq_44317766的博客
12-20 1692
重点总结： 主要结合了伪标签和一致正则化（两种数据增强的方式实现）方法 利用更少的带标签数据，实现了更高的准确度。 下面具体说一下关于FixMatch具体实施细节： 先来介绍一下本篇论文中数据增强。数据增强的主要思路：在未标记的图像上进行弱增强从而生成伪标签，同时也在未标记的图像上进行强增强进行预测。具体使用到的方法的解释如下： 1.弱增强：包括对图像的翻转和平移两种策略。 2.强增强：主要应用RandAugment或CTAugment，然后应用CutOut增强 CutOut方法： 这种增强的方式
[论文阅读] FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
xiongxyowo的博客
05-29 799
FixMatch
如果想成为中心，那么就到中心去吧。
07-25 1001
paper:https://arxiv.org/pdf/2001.07685.pdf code: https://github.com/google-research/fixmatch 综述 该方法由Sohn 等提出，结合了伪标签和一致性正则化，极大地简化了整个方法。它在广泛的基准测试中得到了最先进的结果。 如我们所见，我们在有标签图像上使用交叉熵损失训练一个监督模型。对于每一幅未标记的图像，分别采用弱增强和强增强方法得到两幅图像。弱增强的图像被传递给我们的模型，我们得到预测。把置信度最大的类的概率与阈值进
论文阅读摘记（一）
weixin_42319414的博客
11-11 1224
目录论文阅读摘记1 论文题目：A Survey of Machine Learning Techniques Applied to Software Defined Networking (SDN):Research Issues and Challenges摘要机器学习算法整理与回顾监督学习k-Nearest Neighbor (k-NN)Decision Tree (DT)Random For...
项目管理师经验摘记.doc
05-01
项目管理经验的摘记可以作为日常工作和未来决策的宝贵参考。项目管理经验摘记应涵盖项目的各个阶段，包括项目的启动、规划、执行、监控和收尾。 在项目启动阶段，项目管理师需要明确项目目标、范围和约束。项目目标...
项目管理师经验摘记模板.doc
最新发布
05-02
项目管理师的经验摘记通常包括项目的社会经济效果评估、可行性论证与项目评估、项目整体管理等方面的内容，这些内容是项目管理过程中非常重要的环节，对于项目的成功起着决定性的作用。 首先，社会经济效果评估分析...
化学基本素养管理论文.doc
09-21
设立文摘卡和进行分类摘记等方法，不仅帮助学生将获取的信息系统化，便于记忆和检索，还进一步提高了他们整合和利用知识的水平。这样，学生在面对新问题时，能够迅速调用相关信息，并运用所学知识进行有效的分析和...
paper总结（5）FixMatch: Simplifying Semi-Supervised Learningwith Consistency and Confidence
qq_50213874的博客
09-24 7099
paper
FixMatch：使用一致性和置信度简化半监督学习
YannicKilcher的博客
08-14 869
FixMatch: 半监督学习的强大工具 这篇论文介绍了 FixMatch，一种用于半监督学习的强大方法。半监督学习是指利用少量带标签的数据和大量无标签数据进行训练。论文以医学图像为例，说明了收集带标签的医学图像数据非常困难，因为需要专业的医师进行诊断和标注。而互联网上存在大量的无标签图像数据，如何利用这些数据来提升模型的学习效果成为了半监督学习的关键问题。 FixMatch 结合了两种半监督学习...
FixMatch: 通过一致性和置信度简化半监督学习
qq_20481015的博客
02-27 1万+
原论文：FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence 作者单位：Google Research 出版：arXiv 2001.07685 code：https://github.com/google-research/fixmatch 摘要 半监督学习（SSL）提供了一种有效...
FixMatch：简单有效的半监督学习算法
weixin_51697828的博客
10-22 5105
半监督学习(SSL)提供了一种利用无标记数据提高模型性能的有效方法。最近，这一领域取得了快速的进展，但代价是需要更复杂的方法。我们提出了FixMatch方法，对现有的SSL方法进行了大幅简化。首先，FixMatch对无标记图像的弱增强视图进行预测，生成伪标签，并且只有当模型产生高置信度预测时，才会保留伪标签。然后，FixMatch对同一无标记图像的强增强视图进行预测，并且将预测结果与上述伪标签进行匹配，计算损失，以此来训练模型。FixMatch简单易行，并且在各种半监督学习基准上都达到了最先进的性能。
推荐开源项目：FixMatch——半监督学习的简化之道
gitblog_00465的博客
08-09 454
推荐开源项目：FixMatch——半监督学习的简化之道 fixmatchA simple method to perform semi-supervised learning with limited data.项目地址:https://gitcode.com/gh_mirrors/fi/fixmatch 在机器学习的世界里，标签数据的获取常常是成本高昂且耗时的过程。而Google Resear...
FixMatch：一致性正则与伪标签方法在SSL中的最佳实践
百度大脑
04-08 695
背景 半监督学习（SSL）提供了一种利用无标签数据提高模型性能的有效方法，这一领域最近取得了快速进展，但以往的算法需要借助复杂的损失函数和大量难以调整的超参数。本文介绍了谷歌的研究团队提出的FixMatch[1]，这是一种大大简化现有 SSL 方法的算法。FixMatch是SSL的两种方法的组合：一致性正则和伪标签。 如图所示为FixMatch的流程图。FixMatch的新颖之处在于，对于无标签的样本： FixMatch首先对弱增强的无标签图像预测伪标签，对于给定的图像，只有当模型产生高于阈值..
解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
热门推荐
so
01-27 1万+
还是Google research出品 论文：https://arxiv.org/abs/2001.07685 官方代码：https://github.com/google-research/fixmatch 主要贡献：（A+B=C的操作） 1.主要结合了pseudo label和 consistency regularization（两种数据增强方式实现） 方法。 2.在cifar1...
FixMatch文章解读+算法流程+核心代码详解
CCjoffrey的博客
08-02 1万+
FixMatch 本博客仅做算法流程疏导，具体细节请参见原文 原文 查看原文点这里 Github代码 Github代码点这里 解读 FixMatch算法抓住了半监督算法的两个重要观点，第一个是一致性正则化，第二个是伪标记。一致性正则化在MixMatch中已经介绍过了，在此不再赘述。伪标记是一种常用的半监督算法。 伪标记 伪标记（pseudo label）其实算最早的一类半监督算法，代表算法self-training。简单地说就是通过训练的模型对无标记样本打标签，这个标签有对有错，通过一些方法筛选标签后，选择
信息系统项目管理师考试要点摘记与总结
信息系统项目管理师摘记的知识点涵盖了项目管理知识体系的九大管理领域，详细阐述了项目管理过程中的输入、工具与技术以及输出。以下将对给出的信息进行详细解读和扩展。 ### 项目管理知识体系（九大管理） 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值