9、支持向量机：从线性到非线性的优化之旅

支持向量机：从线性到非线性的优化之旅

1. 拉格朗日对偶优化基础

在优化问题中，拉格朗日对偶是一种强大的工具。考虑一个拉格朗日函数，当它不再依赖变量 $x$ 时，可将其重写为拉格朗日对偶优化问题。例如，有如下优化问题：
$$\max_{\alpha} \varphi’(\alpha) = \max_{\alpha} \left( 2\alpha - \frac{1}{2}\alpha^2 \right)$$
约束条件为：
$$\alpha \geq 0$$

由于 $L(\alpha, x)$ 有唯一鞍点，这意味着函数 $\varphi’(\alpha) = L(\alpha, x^ )$ 有唯一最大值。该最大值出现在拉格朗日对偶的斜率为零处，通过求导可得：
$$\frac{d\varphi’}{d\alpha} (\alpha^ ) = 2 - \alpha^ = 0$$
解得 $\alpha^ = 2$，再根据相关条件可知 $x^ = \alpha^ = 2$，这与通过其他方式得到的解一致。同时，通过验证 KKT 互补条件 $\alpha^ g(x^ ) = \alpha^ (x^ - 2) = 2(2 - 2) = 0$，可以证明原优化问题和拉格朗日对偶问题的解是一致的。

2. 最大间隔分类器的拉格朗日对偶

支持向量机可看作最大间隔分类器的对偶。假设给定一个线性可分的训练集：
$$D = { (x_1, y_1), (x_2, y_2), \ldots, (x_l, y_l) } \s