FixMatch论文摘记

FixMatch（ReMixMatch的大大简化版本）

对于无标签样本前人的做法

基于一致性正则化

最小化交叉熵损失或均方误差损失，使得模型对于同一样本的两种不同数据增强的预测结果尽可能地接近。

基于伪标签

用有标签样本训练好的模型为无标签样本打伪标签qb，设定一个置信度阈值τ，选取伪标签置信度大于阈值τ的样本，用其伪软标签qb和argmax（qb）得到的one-hot标签qb^（伪硬标签）计算交叉熵损失，使得模型对所做出的预测尽可能地自信（熵最小化）

作者的做法（对于无标签样本的处理结合了上述两种思想）

弱数据增强（flip裁剪、shift平移）；强数据增强（RandAugment、CTAugment、Cutout），Cutout默认地用于RandAugment和CTAugment之后（各数据增强方法的参数设置见原论文2.3节）

FixMatch的损失包含两部分，ls是对有标签样本而言的、lu是对无标签样本而言的。

ls是对有标签样本的损失，是标准的交叉熵损失，使得模型对弱数据增强的预测结果和原样本的标签pb尽可能地接近。

α(xb)代表对样本xb做弱数据增强，B为batchsize，pm为模型。

lu是对无标签样本的损失