3、支持向量机及相关算法的介绍与分析

支持向量机及相关算法的介绍与分析

1. 超平面分类器

在模式识别和机器学习中，小的训练误差并不一定能保证小的测试误差。为了从数据中有效学习，函数类的选择至关重要。一方面，函数类的容量（如 VC 维）需要足够小（相对于可用数据量），以获得有意义的预测；另一方面，函数类又要足够大，以便能够对数据分布 $P(x,y)$ 中隐藏的依赖关系进行建模。

超平面分类器是一种可在点积空间（如特征空间）中执行的学习算法。Vapnik 等人考虑了点积空间 $\mathcal{H}$ 中的超平面类，其形式为 $\langle w, x\rangle + b = 0$，对应的决策函数为 $f(x) = \text{sgn}(\langle w, x\rangle + b)$。对于可由超平面分离（即线性可分）的问题，他们提出了广义肖像算法来从经验数据构建决策函数 $f$。

该算法基于两个重要事实：
- 存在唯一的最优超平面，它使任何训练点与超平面之间的分离间隔最大。这可以通过求解以下优化问题得到：
- 最大化 $\min_{ {x\in\mathcal{H}:\langle w, x\rangle + b = 0}} |x - x_i|$，其中 $i = 1, \cdots, m$。
- 分离超平面类的容量随着间隔的增加而减小，这为最优超平面的良好泛化性能提供了理论支持。

为了构建最优超平面，我们需要解决一个约束优化问题：
- 最小化 $\mathcal{L}(w) = \frac{1}{2}|w|^2$，
- 约束条件为 $y_i(\langle w, x_i\rangle + b) \geq 1$，对于所有 $i