28、神经网络鲁棒性作为验证属性：原理性案例研究

神经网络鲁棒性作为验证属性：原理性案例研究

1. 引言

在许多使用深度神经网络（DNN）的复杂系统中，安全和安保至关重要。然而，由于DNN的不透明性，这些属性难以保证。其中一个突出问题是确保DNN系统对抗对抗性攻击的鲁棒性。直观来说，如果在输入空间中，从某个特定输入移动不超过 ϵ 的距离时，输出变化不大，或者网络的分类决策不变，那么该神经网络在这个特定输入周围就是 ϵ - 球鲁棒的。即便高精度的DNN，其鲁棒性往往也较低，因此测量和提高DNN的对抗鲁棒性受到了机器学习和验证领域的广泛关注。

神经网络验证通常遵循连续验证周期，即结合给定的验证属性对神经网络进行再训练。近年来，为实现这种再训练提出了众多方法，但从验证角度来看，这些方法的具体优势尚不明确。

本文旨在引入一种更全面的方法，将验证属性置于开发周期的核心，从而对其如何影响训练和验证实践进行原理性分析。具体分析了从数据增强、对抗训练、Lipschitz鲁棒性训练和逻辑约束训练等主要训练技术中隐式或显式产生的验证属性，并研究了这些属性对DNN验证的影响。

2. 现有训练技术和鲁棒性定义

• 数据增强 ：这是一种通过训练提高鲁棒性的直接方法，适用于不改变输出标签的输入变换，如添加噪声、平移、旋转和缩放等。为使网络对这些变换具有鲁棒性，需用通过变换采样得到的实例扩充数据集。

给定神经网络 $N : R^n → R^m$，数据增强的目标是确保分类鲁棒性，定义如下：

定义1（分类鲁棒性） ：
$CR(\epsilon, \hat{x}) \tri