3、能否减轻AI/ML模型提供可靠不确定性估计的责任？——外部模型不确定性估计研究

能否减轻AI/ML模型提供可靠不确定性估计的责任？——外部模型不确定性估计研究

1. 引言

机器学习（ML）和人工智能（AI）方法能解决传统软件开发方法难以处理的任务。近年来，深度神经网络大幅提升了感知和理解相关任务的性能，因此人们希望在有安全要求的系统中使用现代ML方法。然而，数据驱动模型（DDM）如深度神经网络的行为难以预测，我们无法确保它们对任何输入都能给出“正确”的结果，使用时需面对一定程度的不确定性。

虽然不确定性估计是AI的活跃研究领域，但许多DDM无法提供可靠的不确定性估计。目前主流的“模型内”不确定性估计方法存在局限性，如违反“关注点分离”原则，导致专家难以验证不确定性估计的合理性，还可能忽略有助于提供更好估计的特征，甚至出现估计过度自信的情况。

为解决这些问题，Kläs和Sembach提出了“不确定性包装器”（UW）的概念作为“模型外”方法。UW不仅避免了上述问题，还能处理洋葱壳模型中考虑的三种不确定性来源，即模型拟合、数据质量和范围合规性，并且可以为提供的不确定性估计设置置信水平，这对安全关键应用至关重要。

2. 不确定性预测的相关工作

在ML领域，不确定性是一个越来越重要的话题，目标是更好地理解不确定性的来源，并提供关于特定DDM输出可靠性的可靠信息。

2.1 不确定性来源

• 随机和认知不确定性 ：最著名的分类是随机不确定性和认知不确定性的区别。随机不确定性是由随机性导致的，是不可避免的“噪声”；认知不确定性是系统性的，指原则上可以知道但未被考虑的现象。在具体情况下，两者的区分取决于观点，且不同建模方法的量化结果通常不可比