14、自适应边界支持向量机：原理、实验与应用

自适应边界支持向量机：原理、实验与应用

1. 引言

分类学习的研究表明，通过学习实值函数进行分类的算法可以利用“边界”这一概念来控制泛化误差。基于此，直接控制边界的学习机，如支持向量机（SVMs）和线性规划支持向量机（LP - SVMs），在分类学习中取得了成功。同时，使用核函数来构建决策函数也被证明是一种有效的方法。

传统算法在每个训练样本上使用固定的边界，而本文提出可以使用自适应边界，并且自适应边界能够有效控制模型的复杂度。接下来将介绍留一法支持向量机（LOO - SVMs）、自适应边界支持向量机（AM - SVMs），分析它们与其他SVMs的关系，给出泛化误差的理论分析，并通过实验验证算法的性能。

2. 留一法支持向量机（LOO - SVMs）

支持向量机能够得到稀疏解，其留一法误差可以通过非零系数的数量与训练样本数量的比例来界定。Jaakkola和Haussler推导了一类分类器的留一法误差界限，对于SVM，其留一法误差估计有如下定理：

定理15.1 ：对于任意训练集，其中样本 $x_i \in R^N$，标签 $y_i \in {±1}$，SVM的留一法误差估计有上界：
[
\frac{1}{m} \sum_{i = 1}^{m} \theta \left(-y_i \sum_{j \neq i} y_j \alpha_j k(x_i, x_j) \right)
]
其中 $\theta(\cdot)$ 是阶跃函数。这个界限比经典的SVM留一法界限更紧，特别是对于非稀疏解。

基于这个定理，我们可以直接最小化这个界限表达式。引入松弛