ClassMix: Segmentation-Based Data Augmentation for Semi-Supervised Learning学习笔记

相关介绍

从DAFormer溯源到这篇文章，ClassMix主要是集合了伪标签和一致性正则化，思想来源于CutMix那条研究路线，但是优化了CutMix中的标签污染的情况，后续会说。一致性正则化的半监督学习在图像分类中取得了显著的进展，主要利用强大的数据增强对未标记图片加强一致性，然而在半监督语义分割中被证明是无效的。

主要思想

1. 从一张图片中随机选取一半的类粘贴到另外一张图片上，形成一个新的样本，标签也不需要真正注释，只需要获取原来的两张图对应的标签即可。
2. 利用网络学习原始图像的像素级语义(利用有标签的数据集训练网络)，对混合的图像的预测被强制训练成和混合前一致。
3. 根据分类一致性正则化趋势，还继承了熵最小化，来鼓励网络进行低熵预测。

方法

如图所示，ClassMix使用两张没有标记的图片A、B，然后分别通过网络f(θ)生成对应的Sa、Sb。随机获取Sa中的一半的类，然后获取到类别像素点的位置为1，其余位置为0，生成一个Mask掩码M，把A、B两张图片作为输入同时加上掩码M，生成一张增强的图片Xa，其对应的标签Ya，通过Sa,Sb和M获取对应的标签Ya，由于混合策略的性质，刚开始可能会出现人工标签，但随着训练的进行，会越来越少。
伪代码如下:

Mean-Teacher

阅读一下 Mean teachers are better role models: Weight-aver