【统计学习方法】支持向量机之线性支持向量机

前篇：【统计学习方法】支持向量机之线性可分支持向量机

一、线性支持向量机

• 假设给定一个特征空间上的训练数据集：$$T=(x_1，y_1),(x_2，y_2),\dots ,(x_N，y_N)$$其中，$x_i\in X\in R^n，y_i\in -1,+1$
• 假设训练数据集不是线性可分的，通常情况是，训练数据中有一些特异点，将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的，即总统上是线性可可分的，只是有少部分的散点。
• 线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件.为了解决这个问题，可以对每个样本点引进一个松弛变量${\xi }_i$，使函数间隔加上松弛变量大于等于1。这样，约束条件变为：$$y_i(w.x_i+b)\ge 1-{\xi }_i$$
• 同时，对每个松弛变量,支付一个代价$\xi$。目标函数由原来的$\frac{1}{2}||w|{|}^2$变成:$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
  • $C>0$称为惩罚参数，一般由应用问题决定，$C$值大时对误分类的惩罚增大， $C$值小时对误分类的惩罚减小.
  • 目标函数包含两层含义：
    • 使$\frac{1}{2}||w|{|}^2$尽量小,即间隔尽量大
    • 同时使误分类点的个数尽量小
• 经过上面的转化，就可以和线性可分时一样来考虑线性不可分时的线性支持向量机学习问题.称为软间隔最大化.
• 线性不可分的线性支持向量机的学习问题变成如下凸二次规划问题(原始问题) ：$$\underset{w,b,\xi }{\min }\frac{1}{2}||w||+C\sum _{i=1}^N{\xi }_i$$$$st.y_i(w.x_i+b)\ge 1-{\xi }_i,i=1,2,\dots ,N$$$${\xi }_i\ge 0,i=1,2,\dots ,N$$
• 原始问题是一个凸二次规划问题，因而关于$(w,b,\xi )$的解是存在的.可以证明$w$的解是唯一的，但$b$的解不唯一，$b$的解存在于一个区间.
• 线性支持向量机的定义:
  • 对于给定的线性不可分的训练数据集，通过求解下面凸二次规划问题来得到最优解： $$\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$$$st.y_i(w.x_i+b)\ge 1-{\xi }_i,i=1,2,\dots ,N$$$${\xi }_i\ge 0,i=1,2,\dots ,N$$
  • 假设问题的解是$w^{\ast },b^{\ast }$,于是得到的分离超平面为：$$w^{\ast }\ast x+b^{\ast }=0$$
  • 以及相应的分类决策函数:$$f(x)=sign(w^{\ast }\ast x+b^{\ast })$$称为线性支持向量机. 显然，线性支持向量机包含线性可分支持向量机

二、学习的对偶算法

• 拉格朗日函数：$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$其中${\mu }_i\ge 0,{\alpha }_i\ge 0$
• 首先求$L(w,b,\xi ,\alpha ,\mu )$对$w,b,\xi$的极小:$${\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$$${\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$$${\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0$$得：$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0$$带入$L(w,b,\xi ,\alpha ,\mu )$中去：$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1)-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _{i=1}^N{\mu }_i{\xi }_i$$$$=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1)+(C-{\alpha }_i-{\mu }_i)\sum _{i=1}^N{\xi }_i$$$$=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1)$$与线性可分支持向量机一样，所以最后得到：$$D(\alpha )=\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i$$
• 再对$D(\alpha )$求α的极大， 即得对偶问题：$$\underset{\alpha }{\max }(-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j))+\sum _{i=1}^N{\alpha }_i$$$$st.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$${\alpha }_i\ge 0$$$${\mu }_i\ge 0$$$$C-{\alpha }_i-{\mu }_i=0,i=1,2,\dots ,N$$利用等式约束$C-{\alpha }_i-{\mu }_i=0$消去${\mu }_i$，从而只留下变量${\alpha }_i$，这样将后面三个约束并为一个约束写成：$$0\le {\mu }_i\le C$$再将对目标函数求极大转换为求极小，于是得到对偶问题：$$\underset{\alpha }{\min }(\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j))-\sum _{i=1}^N{\alpha }_i$$$$st.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C,i=1,2,\dots ,N$$
• 假设我们现在通过某种方法求得了对偶问题的解：${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast })$，现在需要求出原始问题的解$w^{\ast },b^{\ast }$，由强对偶性可知$w^{\ast },b^{\ast },{\alpha }^{\ast }$满足KKT条件：$${\nabla }_{w}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$$$${\nabla }_{w}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$$$${\nabla }_{b}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$$${\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0$$$$y_i(w^{\ast }\ast x_i+b^{\ast })-1+{\xi }_i^{\ast }\ge 0$$$${\alpha }_i^{\ast }\ge 0$$$${\alpha }_i^{\ast }(y_i(w^{\ast }\ast x_i+b^{\ast })-1+{\xi }_i^{\ast })=0$$$${\xi }_i\ge 0,i=1,2,\dots ,N$$$${\mu }_i\ge 0$$$${\mu }_i{\xi }_i=0$$由第一个式子可以得到$w^{\ast }$的${\alpha }_i^{\ast }$表达式：$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$ 若存在$0<{\alpha }_j^{\ast }<C$，根据KKT条件有：$${\alpha }_j^{\ast }(y_j(w^{\ast }\ast x_j+b^{\ast })-1+{\xi }_j^{\ast })=0$$得：$$y_j(w^{\ast }\ast x_j+b^{\ast })-1+{\xi }_j^{\ast }=0$$$$b^{\ast }=y_j-y_j{\xi }_j^{\ast }-w^{\ast }\ast x_j$$又由于：$$C-{\alpha }_j^{\ast }-{\mu }_j^{\ast }=0$$所以：$${\mu }_j^{\ast }>0$$再根据：$${\mu }_i{\xi }_i=0$$得:$${\xi }_i=0$$最后得到：$$b^{\ast }=y_j-w^{\ast }\ast x_j=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x_j)$$同时我们可以得到：$$y_j(w^{\ast }\ast x_j+b^{\ast })-1=0$$样本$(x_j,y_j)$为间隔边界上的支持向量。
• 由上面推导可知只要存在支持向量，即存在$0<{\alpha }_j^{\ast }<C$，则$w^{\ast },b^{\ast }$的表示式与线性可分支持向量机式一样的。
• 分离超平面可以写成：$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\ast x+b^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x)+b^{\ast }=0$$
• 分类决策函数可以写成:$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x)+b^{\ast })$$上式称为线性可分支持向量机的对偶形式
• 上面所说的求解对偶问题的某种方式：一般为SMO算法可以参考链接：https://blog.youkuaiyun.com/ACM_hades/article/details/90701030

三、支持向量

• 在线性不可分的情况下，假设对偶问题的解为：${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast })$，其中${\alpha }_i^{\ast }>0$对应于的样本点$(x_i,y_i)$，称为支持向量(软间隔的支持向量).如下图所示：
  
  图中标出了实例$x_i$到间隔边界的距离$\frac{{\xi }_i}{||W||}$
• 软间隔的支持向量$x_i$要么在间隔边界上要么在间隔边界之间，它们也可能在分离超平面误分一侧：
  • 当$0<{\alpha }_i^{\ast }<C\to {\mu }_i^{\ast }>0\to {\xi }_i^{\ast }=0$,所以支持向量$x_i$落在间隔边界上。
  • 当${\alpha }_i^{\ast }=C\to {\mu }_i^{\ast }=0\to {\xi }_i^{\ast }>0$，
    • 若$0<{\xi }_i^{\ast }<1$:则$x_i$分类正确,且落在间隔边界与分离超平面之间。
    • 若${\xi }_i^{\ast }=1$:则$x_i$在分离超平面上。
    • 若${\xi }_i^{\ast }>1$:则$x_i$分类错误,且落在间隔边界与分离超平面之间
  • 当${\alpha }_i^{\ast }=0,x_i$落在间隔边界以外。

后篇：【统计学习方法】支持向量机之非线性支持向量机