33、支持向量机的对偶形式、核技巧与数值求解

支持向量机的对偶形式、核技巧与数值求解

1. 对偶支持向量机概述

在之前对支持向量机（SVM）的描述中，基于变量 $w$ 和 $b$ 的形式被称为原始 SVM。对于输入 $x \in R^D$（具有 $D$ 个特征），由于 $w$ 与 $x$ 维度相同，优化问题的参数数量（即 $w$ 的维度）会随特征数量线性增长。

而对偶 SVM 是一个等价的优化问题，它与特征数量无关，参数数量会随训练集中的样本数量增加。这种形式对于特征数量多于训练样本数量的问题很有用，并且它还便于应用核技巧。

2. 通过拉格朗日乘数法实现凸对偶

• 引入拉格朗日乘数 ：回顾原始软间隔 SVM，其原始变量为 $w$、$b$ 和 $\xi$。我们使用 $\alpha_n \geq 0$ 作为对应样本正确分类约束的拉格朗日乘数，$\gamma_n \geq 0$ 作为松弛变量非负约束的拉格朗日乘数。拉格朗日函数为：
  [L(w, b, \xi, \alpha, \gamma) = \frac{1}{2}|w|^2 + C\sum_{n=1}^{N}\xi_n - \sum_{n=1}^{N}\alpha_n(y_n(\langle w, x_n\rangle + b) - 1 + \xi_n) - \sum_{n=1}^{N}\gamma_n\xi_n]
• 求偏导数并令其为零 ：
  • 对 $w$ 求偏导：(\frac{\partial L}{\partial w} = w^T - \sum_{n=1}^{N}\alpha_ny_nx_n^T)，令其为