11、支持向量机：软间隔分类器与工具实现

支持向量机：软间隔分类器与工具实现

1. 软间隔分类器的对偶设置

最大间隔分类器的原始设置存在局限性，因为它无法应用核技巧将线性分类器扩展到非线性情况。为了将软间隔分类器推广到非线性情况，我们需要构建其拉格朗日对偶。

从原始目标函数（7.105）以及约束条件（7.106）和（7.107）出发，利用（7.3）将其重写为拉格朗日函数：
[
L(\alpha, \beta, w, \xi, b) = \frac{1}{2}w \cdot w + C\sum_{i=1}^{l}\xi_i - \sum_{i=1}^{l}\alpha_i(y_i(w \cdot x_i - b) + \xi_i - 1) - \sum_{i=1}^{l}\beta_i\xi_i
]
这个拉格朗日函数由于引入了松弛变量，增加了一个原始变量 $\xi$，以及一个对偶变量 $\beta = (\beta_1, \ldots, \beta_l)$，它是约束条件 $\xi_i \geq 0$ 的拉格朗日乘子。拉格朗日优化问题为：
[
\max_{\alpha,\beta}\min_{w,\xi,b}L(\alpha, \beta, w, \xi, b)
]
约束条件为：
[
\alpha_i \geq 0, \quad \beta_i \geq 0, \quad i = 1, \ldots, l
]
由于原始目标函数是凸函数，该拉格朗日函数有唯一的鞍点，因此解 $\alpha^ , \beta^ , w^ , \xi^ , b^ $ 必须满足 KKT 条件：