13、支持向量机误差期望的边界：基于留一法的研究

支持向量机误差期望的边界：基于留一法的研究

在机器学习领域，支持向量机（SVM）作为一种高效的算法，其泛化能力一直是研究的重点。本文将深入探讨SVM误差期望的边界，引入支持向量跨度的概念，并通过实验验证其在模型选择中的应用。

1. 支持向量机基础

支持向量机是一种性能卓越的算法，常用于模式识别。其核心思想是找到一个最优超平面，将训练数据分开，同时使超平面与最近的训练向量之间的间隔最大。

最优超平面需满足以下条件：
- 对于训练数据 $(x_1, y_1), \cdots, (x_{\ell}, y_{\ell})$，其中 $x \in R^m$，$y \in {-1, 1}$，超平面 $w_0 \cdot x + b_0 = 0$ 需满足不等式 $y_i(w \cdot x_i + b) \geq 1$，$i = 1, \cdots, \ell$。
- 同时，要最小化函数 $R(w) = w \cdot w$。

这个二次优化问题可以通过拉格朗日乘数法在对偶空间中求解。构建拉格朗日对偶形式：
$L(w, b, \alpha) = \frac{1}{2}w \cdot w - \sum_{i=1}^{\ell} \alpha_i[y_i(w \cdot x_i + b) - 1]$

找到其鞍点，即关于 $w$ 和 $b$ 最小化，关于 $\alpha_i \geq 0$ 最大化的点。通过对 $w$ 和 $b$ 求偏导，得到以下方程：
$w = \sum_{i=1}^{\ell} \alpha_i y_i x_i$
$\sum_{i=1}^{\ell} \alpha_i y_i = 0$