浅谈SVM（三）

4、从原始问题到对偶问题
$\quad$上面说我们的问题可以用现成的优化包来进行求解，为什么我们还要把原始问题转化为对偶问题呢？原因主要有两点：一者对偶问题往往更容易求解；二者可以自然地引入核函数，进而推广到非线性分类问题。
$\quad$首先来介绍一下 $Lagrange$ 对偶性，通过给每个约束条件加上一个 $Lagrange$ 乘子来定义 $Lagrange$ 函数：

$L(w,b,\alpha)=\frac{1}{2}||w||^2-\sum_{i=1}^n\alpha_i(y_i(w^Tx_i+b)-1)$

并且令

$\theta(w,b)=max_{\alpha\ge0}L(w,b,\alpha)$

容易验证，当某个约束条件不满足时，例如 $y_i(w^Tx_i+b)<1$ ，则令 $\alpha_i=\infty$ ，有 $\theta(w,b)=\infty$ 。当所有约束条件都满足时，则最优值为 $\theta(w,b)=\frac{1}{2}||w||^2$ ，即最初要最小化的量。于是目标函数就变成了：

$min_{w,b}\theta(w,b)=min_{w,b}max_{\alpha\ge0}L(w,b,\alpha)=p^*$

这里用 $p^*$ 表示这个问题的最优值，且和原始问题是等价的。
$\quad$现在考虑上述问题的对偶问题：

$max_{\alpha\ge0}min_{w,b}L(w,b,\alpha)=d^*$

这个新问题的最优值用 $d^*$ 表示。并且有 $d^*\le p^*$ 。
说明：
假设 $L(w,b,\alpha)$ 关于 $w,b$ 的极值在 $w=w^*,b=b^*$ 时取得，由于 $\alpha\ge0$ ,则

$\sum_{i=1}^n\alpha_i(y_i(w^{*T}x_i+b^*)-1)\ge0$

=>$L(w^*,b^*,\alpha)=\frac{1}{2}||w^*||^2-\sum_{i=1}^n\alpha_i(y_i(w^{*T}x_i+b^*)-1)\le\frac{1}{2}||w^*||^2$
=>$min_{w,b}L(w,b,\alpha)\le L(w^*,b^*,\alpha)\le\frac{1}{2}||w^*||^2=p^*$ ，
于是 $d^*\le p^*$ 。
$\quad$在满足某些条件的情况下，这两者相等，这个时候就可以通过求解对偶问题来间接地求解原始问题。这个条件就是 $KKT$ 条件，可以参考附录1。

5、求解对偶问题
$\quad$原始问题通过满足 $KKT$ 条件已经转化为了对偶问题，现在我们来求解这个对偶问题：

$max_{\alpha\ge0}min_{w,b}L(w,b,\alpha)$

其中 $L(w,b,\alpha)=\frac{1}{2}||w||^2-\sum_{i=1}^n\alpha_i(y_i(w^Tx_i+b)-1)$ 。
首先固定 $\alpha$ ，让 $L$ 关于 $w,b$ 最小化，则
$$\begin{cases} \frac{\partial L}{\partial w} = 0 \\ \frac{\partial L}{\partial b} = 0 \end{cases}$$
于是
$$\begin{cases} w=\sum_{i=1}^n\alpha_iy_ix_i \\ \sum_{i=1}^n\alpha_iy_i=0 \end{cases}$$
注：一个多元函数对各个变量求偏导，得到的不是一个数，而是一个向量，这个向量就是各分量的偏导数。
最后得出：

$L(w,b,\alpha) = \sum_{i=1}^{n}\alpha_i-\frac{1}{2}\sum_{i,j=1}^{n}\alpha_i\alpha_jy_iy_jx_i^Tx_j$

于是
$$\begin{cases} max_{\alpha}\sum_{i=1}^{n}\alpha_i-\frac{1}{2}\sum_{i,j=1}^{n}\alpha_i\alpha_jy_iy_jx_i^Tx_j\\ s.t. \quad \alpha_i\ge0,i=1,2,...,n\\ \sum_{i=1}^{n}\alpha_iy_i=0 \end{cases}$$
这样可以求出 $\alpha_i$ ，根据 $w=\sum_{i=1}^n\alpha_iy_ix_i$ 可以求出 $w$ ，然后通过

$b=-\frac{max_{i:y^{(i)}=-1}w^Tx^{(i)}+min_{i:y^{(i)}=+1}w^Tx^{(i)}}{2}$

求出 ，最终得出分离超平面和分类决策函数。