Reachability Analysis of Deep Neural Networks with Provable Guarantees 论文小结

关注

VIP免费原创最新推荐文章于 2026-04-19 02:52:15 发布 1k 阅读 AI 写同款· GEO 优化 ›

几种流行的神经网络形式化验证器的比较截止到2021年8月，国际上最优秀的几种神经网络形式化验证器：工具名称适用网络特点优点缺陷文献名称及出版时间 Venus 基于ReLU的前馈神经网络 - 基于MILP求解器- 支持生成反例利用ReLU节点之间依赖关系，修剪基于MILP公式的验证问题的搜索树，大大缩短的验证过程的时间只能应用于ReLU激活函数的神经网络 Efficient Verification of ReLU-based Neural Networks via Dependency Analysis, 20 阅读详情

论文内容

验证深度神经网络的正确性是困难的，我们研究一个关于前馈深度神经网络的一般性可达性问题——给定一个输入集合，使用Lipschitz连续的函数来计算输出，计算这个函数值的上下界。因为神经网络和函数都是利普希茨连续的，所以在这个上下界中的任意数值都是可达的。我们展示了如何通过实例化一个可达性问题来获取安全验证问题，输入范围分析问题和鲁棒性测量问题。我们提出了一种新的基于自适应嵌套优化的算法来解决可达性问题。这个技术已经在一系列深度神经网络上进行了实现和评估，证明了自己的效率，可伸缩性，并且相比现有的最先进的验证方法，能处理类别更广泛的的神经网络。

1.introduction

人们对于深度神经网络和使用了深度神经网络元素的系统还有很多忧虑，比如部署在对安全性要求很高的系统上。为了缓解忧虑，获得人们的信任，深度神经网络需要像飞机，汽车一样被检验。作者认为他研究的这个问题很有用，与许多关键问题有关。

为了验证一个系统，验证方法不仅要提供一个结果，还要提供结果的一个保证，比如误差范围。现存的研究方法包括将问题简化到约束满足问题，这个问题可以被一些方法解决，或者是实行离散向量空间上的搜寻算法。即使它们能够得到一些保证，但有两个缺点。第一，他们的研究主题受到限制，更确切地说，它们只能在进行线性变换（例如卷积层和全连接层）和简单非线性变换（如RELU）的层上奏效，在一些其它重要的层上无法起效，例如sigmod，max pooling和softmax这些广泛运用于最新的神将网络上的层。第二，基于约束的方法的可伸缩性受到求解器的能力和网络大小的显著限制，并且它们只能与只有几百个隐神经元的网络一起工作。然而，最新的神经网络一般都有上百万甚至上亿的隐神经元。

这篇论文提出了一个最新的方法，没有上述缺点，而且提供误差范围，这个方法的灵感来自于最近在全局优化方面的进展。对于在输入维数集合上定义的输入子空间，提出了一种自适应嵌套优化算法。我们的算法的性能不依赖于网络的大小。因此，它可以扩展到大型网络的工作。