11、机器学习中的不确定性采样：原理、策略与评估

机器学习中的不确定性采样：原理、策略与评估

在机器学习领域，不确定性采样是一种至关重要的主动学习技术，它能够帮助我们更高效地利用有限的标注资源，提升模型的性能。本文将深入探讨不确定性采样的相关概念、方法以及评估策略。

1. 两种不确定性：偶然不确定性与认知不确定性

在机器学习中，我们常常会遇到两种不同类型的不确定性：偶然不确定性（aleatoric uncertainty）和认知不确定性（epistemic uncertainty）。这两个术语虽然源自哲学文献，但在机器学习领域有着特定的含义。

认知不确定性指的是单个模型预测中的不确定性，而偶然不确定性则是多个预测之间的不确定性，特别是在近期文献中常提到的蒙特卡罗丢弃法（Monte Carlo dropouts）。在机器学习文献中，这两个术语通常是指用于计算不确定性的方法，而非其更深层次的哲学含义。

为了更好地理解这两种不确定性的区别，我们可以通过图 3.8 来进行说明。该图展示了多个预测如何让我们不仅能根据单个决策边界的距离，还能根据多个决策边界的方差来预测不确定性。对于一个神经网络模型，决策边界距离的变化可以通过预测标签的变化、第 3.2 节中提到的任何不确定性采样指标的变化，或者每个预测的整个概率分布的变化来计算。

不确定性类型	特点	示例
低偶然不确定性，高认知不确定性	靠近所有五个预测的决策边界，但决策边界聚集在一起	图