深度学习测试-DeepCT
背景介绍(传统软件的组合测试)
DeepCT : Tomographic Combinatorial Testing for Deep Learning System
传统软件组合测试:
如图一:想要检测到错误,需要 ( pressure<10 ) 和 ( volume>300 )两个条件组合在一起才可以。
则需要组合测试,系统的探索输入值(input configuration)的组合。
意图
当前的深度学习的测试方法,都是基于神经元的激活覆盖率。没有着眼于同层中神经元之间的相互作用。本文就是以一种层析的方式断层检测模型某一层中神经元之间的相互作用。
本文将组合测试应用于测试深度学习系统,提出组合测试覆盖标准,并指导测试集的生成。
一些定义
首先 T-way 的含义:t代表考虑的元组个数,2-way就是考虑二元祖的神经元之间的组合。
比如:模型N的Li层中,有四个神经元 {n1,n2,n3,n4},2-way 组合共六种{n1,n2},{n1,n3},{n1,n4},{n2,n3},{n2,n4},{n3,n4}
Neuron-activation configuration
举例说明:
假设现在有一组神经元:N={n1,n2,n3},每