11、深度学习中超越全监督的方法探索

深度学习中超越全监督的方法探索

1. 半监督学习中的平衡重建损失与稳定性正则化

在半监督学习的模型训练里，有一个关键问题亟待解决，即确保判别分支能过滤掉无关信息，学习到不变特征。在半监督环境下，当数据集中只有小部分数据有标签时，仅靠分类损失来推动模型学习不变特征，效果往往不尽人意。

为了进一步促进模型学习不变特征，可采用稳定性正则化方法。其原理是促使分类器对样本的输出预测，在输入和网络中引入不同随机因素（如平移、水平翻转、随机噪声、丢弃法等）时保持不变。具体做法是最小化输出 $\hat{y}(k)$ 与“稳定性”目标 $z(k)$ 之间的欧几里得距离平方和，公式如下：
$\ell_{stability} = \frac{1}{n} \sum_{k} ||\hat{y}(k) - z(k)||_2^2$

这里的稳定性目标 $z(k)$ 有多种计算方法，例如对样本进行第二次前向传播，同时改变随机因素，从而得到不同的输出。通过对 $\hat{y}$ 应用这个损失，能鼓励编码器 $E_c$ 在数据中寻找不变模式，这些模式更有可能具有判别性，对分类任务有帮助。而且，这个损失对有标签和无标签的图像都适用。

在TensorFlow中可以使用 tf.stop_gradient ，在PyTorch中可以使用 .detach() 来实现平衡重建损失，公式如下：
$\ell_{rec - balanced} =
\begin{cases}
||\hat{x}_u + stopgrad(\hat{x}_c) - x||_2^2 & \text{if } ||\hat{x}_u