3、支持向量机：从硬间隔到核技巧的深入解析

支持向量机：从硬间隔到核技巧的深入解析

1. 硬间隔支持向量机

硬间隔支持向量机假设训练数据是线性可分的。在二维空间中，最优分离超平面要使得所有训练数据满足 $ \frac{y_kD(x_k)}{|w|} \geq \delta $ （$k = 1, \ldots, M$），其中 $ \delta $ 是间隔。由于如果 $(w, b)$ 是一个解，那么 $(aw, ab)$ （$a$ 为标量）也是解，所以添加约束 $ \delta |w| = 1 $。

为找到最优分离超平面，需要最小化 $ Q(w) = \frac{1}{2} |w|^2 $，同时满足约束条件 $ y_i (w^T x_i + b) \geq 1 $ （$i = 1, \ldots, M$）。这里 $ |w|^2 $ 的平方是为了将优化问题转化为二次规划问题。线性可分的假设意味着存在满足上述约束的 $w$ 和 $b$，满足约束的解称为可行解。

由于优化问题具有二次目标函数和不等式约束，即使解不唯一，目标函数的值也是唯一的，这是支持向量机相对于有众多局部极小值的神经网络的优势之一。

满足等式 $ y_i (w^T x_i + b) = 1 $ 的数据称为支持向量。凸优化问题的变量是 $w$ 和 $b$，变量数量为输入变量数加 1（即 $m + 1$）。当输入变量较少时，可通过二次规划技术求解。但通常会将输入空间映射到高维特征空间，因此将原问题转化为等价的对偶问题，其变量数量为训练数据的数量。

具体步骤如下：
1. 将约束问题转化为无约束问题：$ Q(w, b, \alpha) = \frac{1}{2} w^T w - \sum_{i = 1}^{M} \alpha