21、基于热带多面体的ReLU神经网络静态分析

基于热带多面体的ReLU神经网络静态分析

1. ReLU神经网络分析方法概述

ReLU激活的前馈神经网络的分析方法主要有以下几类：
- 基于约束的分析器 ：部分此类分析器在反馈回路中使用控制器，还有一些通过利用激活区域的几何形状来改进解决方案搜索。
- 基于SMT方法 ：更具体地是可满足性模线性实算术扩展（也对ReLU进行编码）。将网络编码到这种逻辑中，求解器为查询提供答案，例如范围过近似和鲁棒性。
- 基于抽象域的方法 ：使用为程序分析设计的一些抽象域，特别是用于数值程序验证的凸域，如 zonotopes、多面体、符号区间等。这些抽象域可进行范围估计，处理训练数据周围的鲁棒性属性，但在处理（非凸）ReLU函数时往往会损失过多精度。为解决这一问题，提出了以下方法：
- 改进ReLU的抽象，例如组合同一层上多个ReLU函数的抽象。
- 结合抽象和对可能神经元激活的组合探索，如 RefineZono 结合多面体抽象域和 MILP 求解器，NNENUM 使用 zonotopes 和星星集结合案例分割方法，Verinet 使用基于符号区间传播的抽象和自适应细化策略。

2. 预备知识和符号

2.1 区域（Zones）

区域抽象表示变量上受限形式的仿射不变量，即变量差的界限。对于 n 维变量 $x = (x_1, \ldots, x_n) \in R^n$，区域域表示形式为 $(\bigwedge_{1\leq i,j\leq n} x_i - x_j \leq c_{i,j}) \land (\bigw