37、神经网络验证基准生成的实证分析

神经网络验证基准生成的实证分析

1. 引言

神经网络（NN）作为一种机器学习模型，能从数据中学习复杂模式，在图像识别、自然语言处理等众多任务中取得了卓越成果。然而，在安全关键领域使用时，需要从组件和系统层面进行全面且严格的分析。形式化方法能够为这些模型的功能提供保证，确保其在这些领域的正确运行。

目前，虽然已经开发了许多形式化验证方法和工具，但仍面临诸多挑战。主要挑战包括验证方法对大型模型的可扩展性不足，以及神经网络开发与验证之间的脱节。通常先开发和训练神经网络，再对学习到的网络（固定参数）进行验证。若网络不符合形式化要求或方法因模型复杂无法证明其正确性，就需要开发新方法或重新训练模型。

本文重点关注后者挑战，旨在研究训练过程如何影响形式化验证方法。研究源于对医学图像数据集上神经网络分类器鲁棒性分析时，发现可达性计算时间存在显著差异（快 10 到 100 倍）。基于此发现，提出一系列问题，如该差异是否特定于评估图像、特定模型，改变训练方法后验证模式是否依旧等。

本文贡献如下：
- 引入医学成像领域的神经网络验证新基准（MedNIST）。
- 对两个在灰度图像数据集上训练的基准进行形式化验证，共分析 45 个模型，每个基准 300 个实例。
- 分析 NNV 方法在这两个基准上的应用，探讨训练对可达性方法的影响。

2. 相关工作

2.1 神经网络验证

近年来，神经网络验证领域发展迅速，社区建立并开发了标准输入格式。这些格式有助于友好竞赛以及工具间的比较。目前大多数方法聚焦于验证前馈和卷积神经网络架构，可分为可靠或不可靠、完整或不完整。

不可靠方法