17、机器学习中的不确定性量化与自动化建模

机器学习中的不确定性量化与自动化建模

分类任务中的不确定性

在分类任务里，不确定性是一个关键问题。以数据中的噪声为例，从图中能看到，在大约 -2.5 的位置，随机不确定性（aleatoric uncertainty）较高，这是因为原始训练数据在此处本身的噪声较多。这种不确定性在一些应用场景中可能会带来严重问题，比如自动驾驶汽车，AI 做出的决策可能会危及生命。所以，构建不仅能进行预测，还能在预测时评估认知不确定性（epistemic uncertainty）和随机不确定性的模型十分必要。

在分类任务中，标准做法是在最后一层使用 SoftMax 激活函数。默认情况下，SoftMax 激活函数已有置信度的度量。然而，它并不十分可靠。例如，一个经过训练用于区分马和斑马的模型，当遇到狗时，它不会给出 50% 是马、50% 是斑马的结果，而是可能认为更像马，以 60% 的概率将其分类为马。

数学上，分类任务使用最大类别概率来确定类别：
[
\hat{y}=\arg\max_{k = 1}^{K}p_{k}
]
这里，$K$ 是类别的总数，$p_{k}$ 是该预测中类别 $k$ 的 SoftMax 值。也有研究人员尝试使用 SoftMax 预测的熵 $H(p)=-\sum_{k = 1}^{K}p_{k}\log_{2}p_{k}$。最大概率直接表示确定性，而熵描述随机变量的平均信息水平。尽管这些方法简单直接，但在处理如医疗诊断等关键决策的 AI 模型时，它们并不十分可靠。

量化分类任务中不确定性的一种方法是使用集成方法。Lakshminarayanan 等人在论文中表明，当模型遇到域外数据时，集成方法比其他方法更优。他们使用整个