1. 上周回顾
总结不确定性在神经网络中的运用。跳转链接
2. 本周计划
通过阅读论文《Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling》,了解不确定性在半监督回归中的运用。
3. 完成情况
总结:
本文对于不确定性,详细来说是认知不确定性,提出了不确定性一致性,简单来说就是,两个模型对于同一个样本预测的不确定也应该相似。详细的来说,是两个模型多次实验的不确定性的平均值(在原文中表述为一个tricks)。对于有标记的损失函数,区别于使用同方差损失,通过建模的不确定性使用异方差损失。
4. 存在的主要问题
- 论文中,作者只针对了图像数据进行了实验,没有对扁平数据进行实验。
- 论文通过
Monte Carlo dropout建模不确定性,对此没有了解。
论文本身从损失函数的层面是容易理解的,本身的工作量多,阅读难度中等。
5. 下一步工作
对本文提出的算法进行代码层面的实践。
本文研究了不确定性在神经网络中的作用,特别是关注于半监督深度回归中的应用。作者提出了一种不确定性一致性概念,即不同模型对同一样本的预测不确定性应相似,并采用异方差损失函数替代同方差。尽管实验主要基于图像数据,文章也讨论了MonteCarlodropout作为不确定性建模的方法。下一步计划是将理论转化为实际代码实现。
51

被折叠的 条评论
为什么被折叠?



