34、不确定性量化方法评估与AIMOS工具在工业应用中的研究

不确定性量化方法评估与AIMOS工具在工业应用中的研究

不确定性量化（UQ）方法评估

在交通标志识别等应用中，不确定性量化（UQ）对于评估模型的可靠性至关重要。下面将介绍UQ方法的评估指标和不同UQ方法在点不确定性估计和预测集任务中的表现。

评估指标

• T1（不确定性估计） ：使用Brier分数（bs）评估预测结果概率与实际结果之间的均方差异。bs可以分解为方差（var）、分辨率（res）和不可靠性（unr），即bs = var - res + unr。
  • 方差（var） ：仅取决于数据驱动模型（DDM）的错误率。
  • 分辨率（res） ：表示特定案例的不确定性估计与总体不确定性的差异程度。
  • 不可特异性（unspecificity） ：定义为var - res，因为var限制了res的值，且希望res值高，所以引入不可特异性。
  • 不可靠性（unr） ：描述不确定性估计在DDM观察错误率上的校准质量，值越低可靠性越高。
  • 过度自信（overconfidence） ：用于衡量因低估实际观察到的错误率而导致的不可靠性部分。
• T2（集合预测） ：考虑有效性、效率、适应性和条件覆盖率。