学习笔记：机器学习之支持向量机(四、线性支持向量机-软间隔最大化对偶形式)

活动地址：优快云21天学习挑战赛

​1 对偶问题(肢解)

  原始问题为：
$$\begin{gathered} \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.1-{\xi }_i-y_i(w\cdot x_i+b)\le 0 \\ {\xi }_i\ge 0,i=1,2,...,N \end{gathered}$$

其对偶问题就是拉格朗日函数的对$w,b,\xi$的极小再对$\alpha ，\mu$的极大值问题。
广义拉格朗日函数：
$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\xi }_i+{\sum }_{i=1}^N{\alpha }_i(1-{\xi }_i-y_i(w\cdot x_i+b))-{\sum }_{i=1}^N{\mu }_i{\xi }_i$
求偏导得：
$$\begin{gathered} {\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$
解得：
$$\{\begin{array}{rl}w& =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ \sum _{i=1}^N{\alpha }_i{y}_i& =0\\ C-{\alpha }_i-{\mu }_i& =0\end{array}$$
带入$L(w,b,{\xi }_i,{\alpha }_i,{\mu }_i)$得：
$$L(w,b,{\xi }_i,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{u}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
  接下来原本求上式得极大值，式子整体加负号，则转化为求其极小值，即
$\underset{\alpha }{\min }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{u}_i{y}_j(x_i\cdot x_j)-{\sum }_{i=1}^N\alpha$
得到目标函数后，再梳理一下约束条件。
  首先，有求偏导解出来的${\sum }_{i=1}^N{\alpha }_i{y}_i=0$
  其次，拉格朗日乘数大于等于0，即$\mu ,\alpha \ge 0$,在求偏导时得到$C-{\alpha }_i-{\mu }_i=0$
  最后，综合一下得到：$0\le {\alpha }_i\le C$

2 对偶问题(整合)

  理清楚对偶问题的来龙去脉就可以重新梳理整合一下支持向量机——软间隔最大化得对偶问题。
输入:数据集 T = { ( x i , y i ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } , 其中， x I ∈ R n , y i ∈ { − 1 , 1 } , i = 1 , 2 , . . . , N . T=\{(x_i,y_i),(x_2,y_2),...,(x_N,y_N)\},其中，x_I\in R^n,y_i\in\{-1,1\},i=1,2,...,N. T={(xi​,yi​),(x2​,y2​),...,(xN​,yN​)},其中，xI​∈Rn,yi​∈{−1,1},i=1,2,...,N.
输出： 分离超平面和分类决策函数
(1)构造凸二次规划问题
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{u}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N\alpha \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$
求出最优解$\alpha \ast$
(2)求w,b
  有了${\alpha }^{\ast }$可计算出$w={\sum }_{i=1}^N{\alpha }^{\ast }{y}_i{x}_i$;

  求b需要借助KTT条件：


  再从以上条件中得出$b^{\ast }$。
  若${\alpha }_{\ast }=0,w^{\ast }=0$，超平面不存在，则${\alpha }_{\ast }0，0<{\alpha }_i^{\ast }<C$,就找到了${\alpha }_i^{\ast }$的上界。 最终找的点在超平面边界上，则满足$y_j(w^{\ast }\cdot x_j+b^{\ast })=1$
  经过整理后： $$b^{\ast }=y_j-w^{\ast }\cdot x_j$$

(3)求出分类超平面
$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数为：
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
至此结束。

参考

1.《统计学习方法》——李航
2. https://mp.weixin.qq.com/s/0LID7roamkOwiIOl3Da9YQ
​