10、分类模型中分类边界与样本边缘的深入探究

分类模型中分类边界与样本边缘的深入探究

1. 计算分类边界点的挑战与方法

在现代人工神经网络（ANNs）中，其决策边界具有高度非线性、高维度和高曲率的特点，这使得找到给定样本到决策边界的最近点变得十分困难。为了解决这个问题，不同的研究者提出了多种方法：
- 线性近似法 ：Elsayed等人推导出到决策边界最短距离的线性近似，将其作为惩罚项用于训练，使样本与决策边界保持特定距离，训练出的网络在对抗样本鲁棒性和处理含噪声标签数据的泛化能力上表现更好。Jiang等人则利用相同的近似来预测大量卷积神经网络（CNNs）的泛化能力。但有研究表明，这种近似可能会低估到决策边界的真实距离。
- 线性插值法 ：一些作者使用不同类别样本间的简单线性插值来找到决策边界上的点，但这种方法得到的距离不太可能接近真实最小值。
- 随机方向平均法 ：Somepalli等人通过计算输入样本周围五个随机方向的距离平均值来近似，每个方向的距离使用简单二分法单独计算。
- 基于自编码器的方法 ：Karimi等人引入了“DeepDIG”，基于自编码器找到与原始训练样本视觉相似且靠近决策边界的样本，但该方法并非专门寻找最近点。
- 约束优化法 ：Youzefsadeh和O’Leary将找到给定样本到决策边界的最短距离表述为约束优化问题，此方法精度高，但计算成本大，尤其适用于高维数据。

我们选择找到特征空间中的实际点，原因有二：一是简化近似可能导致对边缘在模型泛化能力中作用的误解；二是找到实际点能考虑到函数