意外充分性引导的深度神经网络测试样本生成

意外充分性引导的深度神经网络测试样本生成

摘要：

​ 由于深度神经网络（deep neural network, DNN）模型的复杂性和不确定性等属性，对模型的一般行为和边界行为进行充分的测试是保障模型质量的重要手段.当前的研究主要基于制定的覆盖准则，结合模糊测试技术生成衍生测试样本，从而提升测试充分性，但较少综合考虑测试样本的多样性及个体揭错能力.意外充分性指标量化测试样本与训练集在神经元输出方面的差异，是测试充分性评估的重要指标，目前缺乏基于此指标的测试样本生成方法.因此，提出了一种意外充分性引导的深度神经网络测试样本生成方法，首先，筛选对于决策结果贡献较大的重要神经元，以其输出值为特征，改进意外充分性指标；其次，基于测试样本的意外充分性度量筛选具有揭错能力的种子样本；最后，利用覆盖引导的模糊测试思想，将测试样本的意外充分性值和DNN模型预测的类别概率差异作为联合优化目标，利用梯度上升算法计算扰动，迭代生成测试样本.

介绍：

​ 种子测试样本是影响DNN模型测试样本生成有效性的关键，然而已有测试样本生成方法多采用随机的方式筛选种子样本，忽略对种子样本揭错能力的考虑；同时，筛选种子样本时未充分覆盖原始测试集的全部类别，生成的测试样本多样性不足。

​ 本文提出了意外充分性引导的深度神经网络测试样本生成方法（surprise adequacy for deep neural networks, DeepSA）.考虑到对于决策结果影响较大的重要神经元能够刻画模型的决策逻辑，DNN 模型在相似的样本上的决策逻辑很大程度上具有一定的相似性，利用重要神经元的输出值作为特征，从而可以更精准地刻画样本间的差异程度.因此DeepSA 首先筛选出对于决策结果影响较大的神经元，利用这些神经元的输出改进意外充分性指标，并进一步提升计算效率.其次，基于测试样本的意外充分性选取种子样本；为了使得生成的样本能够探索模型的不同内部逻辑，选取种子时覆盖原始测试样本的所有类别.最后，利用覆盖引导的模糊测试思想，将样