人工神经网络的最大弹性（Maximum Resilience of Artificial Neural Networks）

最新推荐文章于 2025-04-17 20:35:38 发布

原创

最新推荐文章于 2025-04-17 20:35:38 发布 · 653 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #线性规划

作者：Chih-Hong Cheng, Georg Nuhrenberg, and Harald Ruess

单位：慕尼黑工业大学

文献来源：Cheng, C.-H., Nuhrenberg, G., and Ruess, H. Maximum resilience of artificial neural networks. In International Symposium on Automated Technology for Verification and Analysis, pp. 251–268. Springer, 2017.

文章目录

摘要

本文将基于人工神经网络的分类器的弹性定义为可容忍的最大扰动输入量。计算神经网络最大扰动域的问题被简化为求解混合整数规划（Mixed Integer Progamming, MIP）问题。许多MIP启发式编码方法被提出，大大减少MIP求解器的运行时间，并且在我们的实验中，使用MIP求解器的并行化导致计算核心数量几乎线性增加(达到一定的限制)。我们通过计算大量人工神经网络基准集的最大弹性边界来证明我们方法的有效性和可扩展性，这些基准集从典型的图像识别场景到机器人的自主操纵。

背景知识

大M法：

在MIP简化过程中，本文使用大M法的一个变种来将许多非线性表达式线性化。

在约束条件中人为地加入非负的人工变量，以便使它们对应的系数列向量构成单位阵。由于M是充分大的正数，在极大化目标函数的过程中，就会迫使人工变量离基。

举例：
在这里插入图片描述
$\left[\begin{array}{cccc} 1 & 1 & 1 & 1 & 0 & 0 & 0 \\ -2 & 1 & -1 & 0 & -1 & 1 & 0\\ 0 & 3 & 1 & 0 & 0 & 0 & 1 \end{array}\right]$

前馈神经网络：
在这里插入图片描述

一个四层的小型前馈网络结构，每一层都有不同类型的节点函数。

sofmax函数：

为了进行多类分类，输出层的输出通常通过softmax函数转换成概率分布，softmax函数可以把一些输入映射为0-1之间的实数，并且归一化保证和为1。
在这里插入图片描述
sofmax函数的形式，首先转化到指数函数上，这样保证了概率的非负性。将转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比。