研究生总结

Note:本博客更多是关于自己的感悟，没有翻阅文件详细查证，如果存在错误，也请提出指正。

1. 半监督回归

相比于半监督分类，半监督回归相对冷门。回归和分类之间有着难以逾越的天谴，预测精度。分类中的类别是可数的，有限的；而在回归中可以认为类别是无限的（可以通过离散化将回归任务转化成分类任务，但是这样回归精度就会极具下降）。BEL 试图打破分类与回归之间的天谴，参见。Deep Imbalanced Regression 认为回归任务中同样存在不平衡的问题。其实，这一点在半监督语境下的回归任务中更加突出。

半监督回归则是想要利用无标记数据来提升模型性能。一种简单且有效的方法是打伪标签。值得注意的是，半监督分类中的伪标签包含的噪声更小。可以考虑在一个猫狗分类的任务中，随机标记一个伪标签都有百分之五十的概率标记正确。而在一个预测西瓜甜度，假设范围是$[0,1]$, 很难预测一个一摸一样的标签。

正是因为伪标签很难预测正确，所以需要一个量化置信度的策略。图1. 伪标签策略在分类和回归任务中的差异图。来自《Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks》
目前的工作中提出的是启发式策略，即不能证明这样一定是对的，但是感觉是对的。
COREG 提供了一个量化置信度,
$${\delta }_{{\mathbf{x}}_u}=\sum _{{\mathbf{x}}_i\in {\Omega }_u}$$