34、支持向量机与核技巧详解

支持向量机与核技巧详解

1. 最优分离超平面

对于两类分类问题，我们使用 -1 和 +1 作为两类的标签。样本集为 (X = {x_t, r_t})，其中若 (x_t \in C_1)，则 (r_t = +1)；若 (x_t \in C_2)，则 (r_t = -1)。我们想找到 (w) 和 (w_0)，使得：
- 当 (r_t = +1) 时，(w^T x_t + w_0 \geq +1)；
- 当 (r_t = -1) 时，(w^T x_t + w_0 \leq -1)。

这可以重写为 (r_t(w^T x_t + w_0) \geq +1)。这里不仅要求实例位于超平面的正确一侧，还希望它们与超平面保持一定距离，以实现更好的泛化能力。超平面到两侧最近实例的距离称为间隔（margin），我们希望最大化这个间隔。

从之前的知识可知，(x_t) 到判别式的距离为 (\frac{|w^T x_t + w_0|}{|w|})，当 (r_t \in {-1, +1}) 时，可写为 (\frac{r_t(w^T x_t + w_0)}{|w|})，我们希望这个距离至少为某个值 (\rho)，即 (\frac{r_t(w^T x_t + w_0)}{|w|} \geq \rho, \forall t)。

为了得到唯一解，我们固定 (\rho|w| = 1)，这样为了最大化间隔，就需要最小化 (|w|)。任务可以定义为：
[
\min \frac{1}{2}|w|^2 \text{ subject to } r_t(w^T x_t + w_0) \geq +1, \forall t
]

这是一个标准的二次