阅读论文《Is Neuron Coverage a Meaningful Measure for Testing Deep Neural Networks?》。记录阅读笔记。
全文内容总结:
在以往研究中,基于增加NC可以提高测试集质量的隐含假设,NC被用于指导测试生成。
本文设计了一种新的促进多样性的正则化算法,该算法可以嵌入现有的对抗性攻击算法(CW、PGD)中。并评估增加NC是否能生成测试套件满足:
- 能检测对抗性攻击
- 产生自然输入
- 对特定类别预测没有偏见
结果却发现:增加NC会使生成有效测试套件更困难,即更高的NC会导致检测到的缺陷更少、自然输入更少、预测偏好更有偏差。
最后,作者呼吁一种新的测试生成技术,能同时考虑缺陷检测、自然性和输出公正性。
算法思想:
本文的正则化算法通过惩罚倾