13、支持向量机误差期望的边界：基于留一法的研究

支持向量机误差期望的边界：基于留一法的研究

1. 引言

近年来，支持向量机（SVM）作为一种高性能的算法被广泛应用。通常，SVM良好的泛化能力归因于大间隔的存在。在之前的研究中，对于能以一定间隔分离数据的超平面，已经得到了误差率的边界。而在某些研究中还表明，对于过原点的超平面，其误差概率期望与$R^2/ρ^2$的期望有关，其中$R$是支持向量的最大范数，$ρ$是间隔。

本文将从留一法估计器出发，推导出SVM误差期望的边界。这些边界比之前的更紧密，且适用于不一定过原点的超平面，它们依赖于一个新的概念——支持向量的跨度。

2. 用于模式识别的SVM

• 最优超平面 ：对于训练数据$(x_1, y_1), …, (x_ℓ, y_ℓ)$，其中$x \in R^m$，$y \in {-1, 1}$，若超平面$w_0 · x + b_0 = 0$能分离这些数据，且与最近训练向量的间隔最大，则称其为最优超平面。它需满足不等式$y_i(w · x_i + b) \geq 1$（$i = 1, …, ℓ$），并最小化函数$R(w) = w · w$。
• 对偶形式 ：通过构建拉格朗日函数$L(w, b, α) = \frac{1}{2}w · w - \sum_{i = 1}^{\ell}α_i[y_i(w · x_i + b) - 1]$，找到其鞍点。对$w$和$b$求最小化，对$α_i \geq 0$（$i = 1, …, ℓ$）求最大化。最小化$w$得到$w = \sum_{i = 1}^{\ell}α_iy_ix_i$，最小化$b$得到$\sum_{i = 1}