FixMatch论文摘记

FixMatch(ReMixMatch的大大简化版本)

对于无标签样本前人的做法

基于一致性正则化

最小化交叉熵损失或均方误差损失,使得模型对于同一样本的两种不同数据增强的预测结果尽可能地接近。

基于伪标签

用有标签样本训练好的模型为无标签样本打伪标签qb,设定一个置信度阈值τ,选取伪标签置信度大于阈值τ的样本,用其伪软标签qb和argmax(qb)得到的one-hot标签qb^(伪硬标签)计算交叉熵损失,使得模型对所做出的预测尽可能地自信(熵最小化)

作者的做法(对于无标签样本的处理结合了上述两种思想)

弱数据增强(flip裁剪、shift平移);强数据增强(RandAugment、CTAugment、Cutout),Cutout默认地用于RandAugment和CTAugment之后(各数据增强方法的参数设置见原论文2.3节)

FixMatch的损失包含两部分,ls是对有标签样本而言的、lu是对无标签样本而言的。

ls是对有标签样本的损失,是标准的交叉熵损失,使得模型对弱数据增强的预测结果和原样本的标签pb尽可能地接近。

在这里插入图片描述

α(xb)代表对样本xb做弱数据增强,B为batchsize,pm为模型。

lu是对无标签样本的损失

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值