22、支持向量机：原理、复杂度与实现

支持向量机：原理、复杂度与实现

1. 齐次情况与硬间隔支持向量机

在处理支持向量机（SVM）时，齐次半空间是一个重要的概念。齐次半空间是指过原点的半空间，由 $sign(\langle w, x\rangle)$ 定义，其中偏置项 $b$ 设为 0。对于齐次半空间的硬间隔支持向量机（Hard - SVM），其优化问题为：
[
\min_{w} |w|^2 \quad s.t. \quad \forall i, y_i\langle w, x_i\rangle \geq 1
]
我们可以通过给每个实例 $x_i$ 添加一个特征，将学习非齐次半空间的问题转化为学习齐次半空间的问题，这样维度会增加到 $d + 1$。需要注意的是，上述优化问题没有对偏置项 $b$ 进行正则化，但如果在 $R^{d + 1}$ 中使用齐次半空间学习，就会对偏置项（即权重向量的第 $d + 1$ 个分量）进行正则化，不过通常正则化 $b$ 对样本复杂度影响不大。

硬间隔支持向量机的样本复杂度与问题的维度有关。半空间在 $R^d$ 中的 VC 维是 $d + 1$，这意味着学习半空间的样本复杂度会随问题维度的增加而增长。根据学习的基本定理，如果样本数量远小于 $d / \epsilon$，则没有算法能学习到 $\epsilon$ 精度的半空间，当维度 $d$ 非常大时，这是一个问题。

为了解决这个问题，我们对底层数据分布做一个额外假设，即“带间隔 $\gamma$ 的可分性”假设。如果数据带间隔 $\gamma$ 可分，那么样本复杂度将由 $1 / \gamma^2$ 的函数上界所限制。这意味着即使维度非常大（甚至无穷大），只要数据满足带间隔可分假设，样本复杂度仍然可以