论文《DeepGini: Prioritizing Massive Tests to Enhance the Robustness of Deep Neural Networks》提出了一种DNN测试优先级排序方法DeepGini,该方法不仅优于现有神经元覆盖技术,而且对提高DNN质量有帮助。
本文参考了这篇【论文转述】,侵删。
主要工作:
提出了DeepGini:一种基于DNN统计视角设计的测试优先级技术,可以将测量错误分类概率的问题简化为测量集合杂质的问题,使能够快速识别可能被错误分类的测试。
解决问题:
为了获得oracle信息,DNN测试通常需要花费大量人力来提前贴标签。
优势:
-
本文度量标准比现有神经元覆盖标准更易区分测试。
-
仅根据DNN输出向量对测试进行优先级排序。(不需要记录大量中间信息、了解DNN内部结构、查看DNN,因此更易于使用、更安全)
-
时间复杂度低于覆盖-附加方法,更具有扩展性。
-
使用DeepGini在前的测试集,优于使用该度量在后的测试集和使用覆盖范围度量在前的测试集。
该方法需要运行所有测试来获得输出。
方法描述:
用于衡量错误分类可能性的指标定义如下: