29、神经网络鲁棒性评估与比较

神经网络鲁棒性评估与比较

1. 鲁棒性评估指标

当给定一个鲁棒性的定义后，自然会思考如何量化一个给定网络满足该定义的程度。这里有三个值得关注的衡量指标：
1. 约束是否成立 ：这是一个二元指标，答案为真或假。
2. 若约束不成立，攻击者找到违反情况的难易程度 。
3. 若约束不成立，普通用户遇到违反情况的频率 。

基于这些衡量指标，我们定义了三个具体的度量：
- 约束满足度（Constraint satisfaction） ：衡量有限训练数据集中约束成立的比例。
[CSat(X) = \frac{1}{|X|} \sum_{\hat{x} \in X} I_{\forall x \in B(\hat{x}, \epsilon): P(x)}]
其中，(X) 是训练数据集，(B(\hat{x}, \epsilon) \triangleq {x \in R^n | |x - \hat{x}| \leq \epsilon}) 是围绕 (\hat{x}) 的 (\epsilon) - 球，(P) 是鲁棒性定义中蕴含关系的右侧，(I_{\varphi}) 是标准指示函数，若约束 (\varphi(x)) 成立则为 1，否则为 0。
- 约束安全性（Constraint security） ：衡量数据集中攻击 (A) 无法为约束 (P) 找到对抗样本的输入比例。在实验中，我们使用 PGD 攻击作为 (A)，不过一般来说任何强大的攻击都可以使用。