Formal Security Analysis of Neural Networks using Symbolic Intervals
Shiqi Wang, Kexin Pei, Justin Whitehouse, Junfeng Yang, and Suman Jana Columbia University
最近精读了这一篇论文,整理一下自己的感受。
摘要
在DNN普及的环境下,人们对DNN的安全性分析越来越重视(尤其是交通的防碰撞系统),但最近较多使用的SMT solver耗费资源巨大。因此本论文提出了一种新的,用于分析DNN安全性的框架——reluval。Reluval使用区间分析的方法寻找DNN的对抗样本,对DNN的输入区间进行两种方法的结合分析:Symbolic intervals和 Iterative refinement(split)。由此得到的分析框架可以容易地实现并行,相比于Reluplex(一种先进的DNN安全性验证方法)快200倍。
本文的重点在于引出并证明Symbolic intervals和 Iterative refinement,尤其是证明Iterative refinement的正确性,并在此基础上构建reluval的工作流程,以及加以实现。最后在ACASXu和mnist上对reluval模型进行评价。
研究的问题
- 区间分析(interval analysis)问题。首先文章针对任意DNN抽象出的函数f定义了一种区间扩展函数F(X),X为DNN的输入区间[X1,X2,…,Xd],F的输出为DNN输出值的区间。(DNN输出值的区间用f(X)表示,F是我们要优化的目标,使其接近f(X))。
在此基础上,本文还给F定义了inclusion isotonic(值域包含子集的值域),Lipschitz continuous(区间宽度作为斜