《MixMatch: A Holistic Approach to Semi-Supervised Learning》论文阅读报告

1. 算法核心思想

1.1 基本思想

现有的半监督学习方法主要有三种：自洽正则化（Consistency Regularization），最小化熵（Entropy Minimization）和传统正则化（Traditional Regularization）。而MixUp同时兼具了这三种方法的优点：集成了自洽正则化，在图像数据增广中使用了对图像的随机左右翻转和剪切（crop）；使用“sharpening”函数，最小化未标记数据的熵；使用了单独的权重衰减并使用MixUp作为正则化器（应用于标记数据点）和半监督学习方法。

MixMatch的伪代码如下图所示（图一），接下来将按照步骤详细介绍MixMatch的每一个部分。

图一 MixMatch算法伪代码

1.2 关键步骤

1.2.1 数据增强

同时对有标记数据和无标记数据做增强。对一个Batch的有标记数据X和一个Batch的无标记数据U做数据增强，对X做一次增强且标签不变，而对U做K次。 

1.2.2 标签猜测

将增强后的未标注数据输入预测模型，模型生成“猜测”标签。为一个Batch中的每一个未标记数据ub的K个增强的猜测标签计算平均值（伪代码第七行所示）：

       使用Sharpen 算法对上式得到的标签进行处理，得到标签qb。Sharpen 算法具体操作如下：

       其中，T为超参数，当T趋近于0时，Sharpen(p, T)i 接近于One-Hot 分布，即对某一类别输出概率1，其他所有类别输出概率0，此时分类熵最低。这很好理解，比如在猫狗二分类中，分类器说，这张图片中50%的几率是猫，50%的几率是狗，对各类别分类概率预测比较平均；而使用Sharpen来使得“伪”标签熵更低，即猫狗分类中，要么百分之九十多是猫，要么百分之九十多是狗。

图二 标签猜测与Sharpen过程

       从图中Average到Sharpen的变化也可以看出该操作的作用：使得“伪”标签熵更低，使输出接近于One-Hot 分布。

1.2.3 MixUp

       将前两步得到的所有数据增强之后的带标签数据及它们的标签、所有未标注数据及其“猜测”标签整合成以下集合：

       将和混合在一起，随机重排得到数据集。最终输出将与做了MixUp() 的一个 Batch 的标记数据