4、人工智能/机器学习模型不确定性估计的研究与实践

人工智能/机器学习模型不确定性估计的研究与实践

1. 研究背景与数据准备

在交通标志识别等实际应用中，准确估计人工智能/机器学习（AI/ML）模型的不确定性至关重要。为了使训练数据和测试数据的比例保持一致，我们基于从270万个现实场景设置中随机采样的设置，将每个原始图像进行了28次增强。这使得校准数据集和评估数据集各自得到了176,820个增强样本。由于这些设置是基于模拟的目标应用范围生成的，我们假设基于目标应用范围（TAS）的测试数据集中的随机样本具有代表目标应用范围的分布。

2. 研究执行步骤

本研究主要包括以下四个执行步骤：
1. DDMs的训练 ：为了研究相关问题，我们考虑了两种DDM架构：
- 具有softmax输出层的单状态卷积神经网络（CNN）架构。我们选择的模型架构大致基于目前在德国交通标志基准（GTSRB）中表现最佳的模型，但去除了空间变换器，并在每个卷积层之后使用批量归一化结合空间丢弃，而不是局部对比度归一化。这些修改主要是为了减少构建和评估基于多个此类CNN的深度集成所需的计算资源。
- 深度集成架构，包括多个并行运行的CNN，代表了当前模型内不确定性估计的黄金标准。我们选择的架构结合了多个与单CNN具有相同架构和超参数设置的CNN，但在模型训练期间具有不同的权重初始化。根据Henne等人的结论，我们决定使用七个集成成员。
每个DDM使用基本训练数据集或增强训练数据集进行训练。对于基本训练数据集，训练的CNN在保留验证数据上的预测准确率在30个周期后稳定在约0.995。由于增强训练数据集中的样本数量要多得多，准确率在仅10个周期后稳定在约0.891。
2.