机器学习算法之SVM(2)松弛变量

离群点

对于(1)中的SVM模型而言，如果在分类的数据集中出现了离群点，必定会造成超平面的移动。如果数据集中出现了离群点，模型应该有一定的容错能力，于是就有了加入松弛变量的新目标函数：

$min_{w,b} \frac{1}{2}{||w||^2}+C\sum_1^m\xi_i,s.t. y^i(w^Tx^i+b)\ge1-\xi_i,\xi_i\ge0;i=1,..m;$

如果离群点越多，$C\sum_1^m\xi_i$将越大，于是整个$\frac{1}{2}{||w||^2}$则相应地需要变小。C越大，表面少许离群点的影响都将非常大，意味对离群点的容忍度越低。

对应的拉格朗日公式：

$L(w,b,\alpha,\xi,\beta) =\frac{1}{2}{||w||^2}+C\sum_1^m\xi_i- \sum_1^m\alpha_i[y^i(w^Tx^i+b)-1+\xi_i]-\sum_1^m\beta_i\xi_i$

同样在满足KKT条件下：

$\frac{\partial L(w,b,\alpha,\xi,\beta)}{\partial w}\\ =w-\sum_1^m\alpha_iy^ix^i=0$

$\frac{\partial L(w,b,\alpha,\xi,\beta)}{\partial b}\\ =\sum_1^m\alpha_iy^i=0$

$\frac{\partial L(w,b,\alpha,\xi,\beta)}{\partial \xi_i}\\ =C-\alpha_i-\beta_i=0$

$\alpha_i[y^i(w^Tx^i+b)-1+\xi_i]=0$

$\alpha_i\ge0$

$\beta_i\ge0$

$\beta_i\xi_i=0$

那么：

$L(w,b,\alpha,\xi,\beta) =\frac{1}{2}{||w||^2}+C\sum_1^m\xi_i- \sum_1^m\alpha_i[y^i(w^Tx^i+b)-1+\xi_i]-\sum_1^m\beta_i\xi_i\\ =\frac{1}{2}w^Tw-\sum_1^m\alpha_i[y^i(w^Tx^i+b)-1]+C\sum_1^m\xi_i-\sum_1^m\alpha_i\xi_i-\sum_1^m\beta_i\xi_i$

因为$C-\alpha_i-\beta_i=0$,

所以$C\sum_1^m\xi_i-\sum_1^m\alpha_i\xi_i-\sum_1^m\beta_i\xi_i=C\sum_1^m\xi_i-\sum_1^m(\alpha_i+\beta_i)\xi_i=0$

又因为$\beta_i\ge0$，$C-\alpha_i=\beta_i\ge0$

所以 $0\le \alpha_i\le C$

最终可以得到：

$max\sum_1^m\alpha_i-1/2\sum_1^m\alpha_i\alpha_jy_iy_j(x^i,x^j)\\ s.t. 0\le\alpha_i\le C,\sum_1^m\alpha_iy_i=0$