【Out-of-Distribution Detection】Mixup in NeurIPS 2019、CutMix in ICCV 2019、PixMix in CVPR 2022 个人理解

一、简介

题目：
（1）On Mixup Training: Improved Calibration and Predictive Uncertainty for Deep Neural Networks
（2）CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features
（3）PixMix: Dreamlike Pictures Comprehensively Improve Safety Measures
会议： （1）NeurIPS 2019、（2）ICCV 2019、（3）CVPR 2022
任务： 分布外检测（Out-of-Distribution Detection, OOD Detection），测试集中可能出现超出训练集样本分布的样本（可以是来自未知类的样本、被破坏的样本、异常样本等等），要求将这些样本隔离出来。
Note： OOD Detection与开放集识别（Open Set Recognition, OSR）的任务目标类似，但通常OSR比OOD Detection更难一些。例如，如果训练类为数字1⃣️～5⃣️，OSR要拒绝的可能是测试集中的数字6⃣️、7⃣️，而OOD Detection要拒绝的可能是✈️、🚗。显然，相比✈️、🚗，数字6⃣️、7⃣️与1⃣️～5⃣️更加相似，也就更难被区分出来。
Idea：
使用数据增强方法，在训练集中提前引入干扰或噪声，使分类器在训练时就能够见到一些OOD样本，从而使分类器具备一些更有利于OOD Detection的性质，例如校准（Calibration）、鲁棒性（Robustness）等，这些性能的含义和作用下面会详细讲。

如图，Cutout将图像的一部分移除或遮挡，Mixup将两个图像混合，CutMix将两个图像部分区域互换，PixMix将图像与不规则图形混合。

二、详情

1. Mixup

通常，神经网络分类器会有过分自信（Over-Confident）的问题，即SoftMax输出的最大概率值（后面简称为获胜分数）一般较大，这就导致即使分类器将一个样本分错了，这个样本的获胜分数仍然可能很大。例如，假设一共有3个已知类别，分类器将属于第一个类别的某个样本错误地分到了第二个类中，对应的SoftMax输出可能是$[0.01,0.99,0.0]$。显然，分类器对自己的判断过于自信了，在这种情况下，如果遇到的是OOD的样本，这种问题将更加突出。

为了解决分类器过分自信的问题，我们会希望分类器具有好的校准能力。通俗来说，就是希望分类器对于无法做出准确判断的样本，分配的获胜分数应尽可能小，从而表示自己没有足够的信心正确分类该样本；对于有足够信心做出准确判断的样本，则可分配更高的获胜分数。

如果用准确率和获胜分数来形容，就是希望准确率和获胜分数呈现相近的分布。更直白的说，就是如果获胜分数为0.9的样本的准确率（被正确分类的可能性）最高，那就让分类器多给样本分配0.9的获胜分数。

如图，横轴为平均获胜得分，纵轴为准确率，可以看到随着epoch增加，各批次的（平均获胜得分，准确率）分布也在不断变化。第一行是常规训练分布变化图，随着epoch增加，平均获胜分数的分布趋向尖峰状，但其准确率却有高有低，这就是分类器的过分自信问题的直观展示，也就是说即使分类器无法保证预测的准确性，也会分配很高的获胜分数。第二行则是通过Mixup改善该问题后的结果，可以看到准确率和最大分数的分布更相似了，也就是说此时的分类器会分配更多能得到高准确率的分数给样本。这样，只有在分类器对某个样本很有正确分类的信心时，才会分配很高的获胜分数，对没信心的就会分配较低的获胜分数。

Mixup通过取原始训练数据附近的样本点和标签做额外的训练集实现数据增强，公式如下：
$$\begin{gathered} \tilde{x}=\lambda x_i+(1-\lambda )x_j \\ \tilde{y}=\lambda y_i+(1-\lambda )y_j \end{gathered}$$ 其中，$\tilde{x}$和$\tilde{y}$为生成的近邻样本和标签，$x_i$和$x_j$为两个原始训练数据，$y_i$和$y_j$是它们的one-hot硬标签，$\lambda$采样自$Beta(\alpha ,\alpha )$。$\alpha =0$时，生成的样本就是 x i x_i x