22、支持向量机与核方法：原理、优化与应用

支持向量机与核方法：原理、优化与应用

1. 支持向量机（SVM）基础

支持向量机（SVM）是一种用于学习半空间的算法，它基于一定的先验知识，即偏好大间隔。与普通的经验风险最小化（ERM）规则学习半空间相比，SVM规则学习半空间可能存在数量级的差异。不过，也能构造出SVM界比VC界更差的问题。使用SVM时，实际上引入了另一种归纳偏置——偏好大间隔半空间，这虽然能显著降低估计误差，但也可能增大近似误差。

1.1 损失函数

• 合页损失（Hinge Loss） ：SVM依赖合页损失，因为它是凸函数，从计算角度看，最小化合页损失可以高效执行。
• 斜坡损失（Ramp Loss） ：虽然斜坡损失在某些方面更接近0 - 1损失，但最小化斜坡损失的问题在计算上是难以处理的。斜坡损失定义为：$\ell_{ramp}(w,(x, y)) = \min{1,\ell_{hinge}(w,(x, y))} = \min{1, \max{0,1 -y\langle w,x\rangle}}$。它对错误的惩罚方式与0 - 1损失相同，且不惩罚有间隔分隔的样本，与0 - 1损失的差异仅在于正确分类但间隔不显著的样本。

1.2 最优条件与支持向量

“支持向量机”这个名称源于硬SVM的解$w_0$由与分离超平面距离恰好为$1/|w_0|$的样本所支撑（即在这些样本的线性张成中），这些向量被称为支持向量。通过Fritz John最优条件可以证明，存在系数$\alpha_1,…,\alpha_m$，使得$w_0 = \sum_{i\in I}\alp