9、DeepAbstraction++：提升深度学习系统测试优先级性能

DeepAbstraction++：提升深度学习系统测试优先级性能

一、引言

深度神经网络（DNNs）在自动驾驶、航空、医疗等众多领域取得了显著进展。然而，这些网络仍存在质量和可靠性方面的不足，例如谷歌自动驾驶汽车的事故就凸显了检测和纠正基于DNN软件故障的重要性。

测试优先级排序技术可以根据未标记测试实例发现错误的潜力对其进行排序，并从整个测试数据集中选择一个子集进行检查。这样不仅提高了检查效率，还能有效降低深度学习中因数据量不断增加而产生的标记成本，同时有助于在生产前更早地发现潜在问题，避免灾难性后果。

在深度学习系统的测试优先级排序算法中，DeepAbstraction表现出了良好的性能。它利用运行时监视器对可能揭示错误的测试实例进行优先级排序。运行时监视器会监督神经网络的预测，并给出接受、拒绝或不确定三种裁决。与传统的运行时验证监视器不同，这里的监视器检查新观察到的实例是否属于训练期间构建的一组参考实例集合。

不过，早期版本的DeepAbstraction存在一些缺陷，如聚类参数tau是静态的，不同实验中其最优值不同，导致性能不稳定；并且该框架严重依赖单个监视器的裁决，难以全面了解数据分布。

为了解决这些问题，我们对DeepAbstraction框架进行了重大改进：
1. 引入动态选择tau的方法，使其能更好地适应每个数据集的独特分布。
2. 采用“组合参数化盒子”的概念，利用多个监视器的集体裁决，提高裁决的准确性。
3. 引入加权系统，在不同裁决冲突时平衡决策过程，确保决策公平有效。
4. 开发多种组合策略，用于整合监视器的加权裁决，得出最终结论。如果两个测试实例的组合裁决得分相同，则使用基