63、RINO：神经网络控制系统可达性分析新方法

RINO：神经网络控制系统可达性分析新方法

1. 引言

近年来，神经网络凭借其作为通用函数逼近器的特性，成为自主系统控制的常用选择。然而，在安全关键系统中应用时，动态环境的不确定性以及对对抗样本的敏感性，使得验证其安全性和鲁棒性变得至关重要。但由于神经网络复杂的非线性特性，这一验证工作极具挑战性。

目前已有一些方法和工具用于界定神经网络在输入扰动下的输出不确定性，但许多方法局限于分析具有ReLU激活函数的网络。并且，考虑一般可微激活函数和具有一般非线性动力学系统的方法，通常只能提供难以估计保守性的过逼近。

RINO工具提出了一种可扩展且自适应的方法，用于计算具有可微激活函数的神经网络控制系统闭环可达性问题的内逼近和外逼近。外逼近可用于属性验证，内逼近可用于属性反驳，两者结合能评估逼近的保守性。

2. RINO的贡献

• 实现联合逼近计算 ：RINO实现了相关文献中提出的用于联合计算可微非线性离散时间或连续时间系统（无神经网络闭环）鲁棒可达集的内逼近和外逼近的想法，这些系统可能存在恒定延迟。此前的工作已在不同示例中展示了该方法的良好扩展性，如全非线性四旋翼飞行模型，但该工具此前未被完整介绍。
• 应用于神经网络系统 ：将这些想法应用于神经网络驱动的动态系统时，在过逼近方面与现有技术相比具有很强的竞争力（至少精度相似且快一个数量级），同时还提供了此类系统可达集的内逼近方法，可用于证伪一些安全属性。
• 计算输出范围逼近 ：RINO还能计算相对于部分输入鲁棒或对抗可达的输出范围逼近