12、深度学习中的不确定性量化

深度学习中的不确定性量化

1. 方法概述

在众多方法中，单网络确定性方法简单直接、易于实现且计算成本较低。近年来，贝叶斯方法备受关注，随着 TensorFlow Probability 等框架的出现，对其进行实验变得更加容易。

2. 回归任务中的不确定性

2.1 数据与不确定性来源

考虑一个输出可以用线性过程 $y = x$ 建模的传感器。当对 $x$ 在 $[-2.5, 2.5]$ 范围内采样时，由于传感器固有的物理过程（如白噪声）会引入噪声，同时传感器可能有温度或压力等限制。在数据中，左下角可能因故障存在高偶然不确定性（aleatoric uncertainty），并且在没有观测到训练数据的大间隙区域，会导致该输入范围内的高认知不确定性（epistemic uncertainty）。

2.2 不确定性量化方法

• 贝叶斯方法 ：利用贝叶斯方法，变分推理方法通过在易处理的分布族上进行优化来近似后验分布，即最小化 KL 散度；采样方法基于马尔可夫链蒙特卡罗方法；拉普拉斯近似方法通过近似对数后验分布并据此推导网络权重的正态分布。
• 集成方法 ：使用多个传统确定性神经网络，将多个模型的预测结果组合成一个预测。可以通过随机初始化和数据洗牌引入多样性，常见的方式包括使用装袋（bagging）和提升（boosting）等方法改变训练数据的分布以及进行数据增强。
• 测试时增强方法 ：通过数据增强技术从原始测试数据创建多个测试数据，增强后的测试数据可以探索不