07_支持向量机1_统计学习方法

支持向量机内容特别多，为了方便阅读，分成三个部分。
第二部分：07_支持向量机2_统计学习方法，讲解非支持向量机。
第三部分：07_支持向量机3_统计学习方法，讲解SMO。

一、支持向量机的介绍

最近在学习李航的统计学习方法，今天学习到支持向量机，看过一遍，第一节看懂没啥大问题，后面越来越看不懂了，主要是公式太多然后还涉及到一些新的数学知识。然后就上优快云和博客园找博客，很多都和书上的差不多。当然也找到了几篇讲解全面的，看文末参考资料。但对于介绍支持向量机，还是李航的统计学习方法的第一段来得实在。

支持向量机(support vector machines,SVM)是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机及的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。

支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机。简单模型是复杂模型的基础，也是复杂模型的特殊情况。

• 线性可分支持向量机，又称为硬间隔支持向量机：训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器；
• 线性支持向量机，又称为软间隔支持向量机：训练数据近似线性可分时，通过软间隔最大化，学习一个线性的分类器；
• 非线性支持向量机，当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

趣味解说支持向量机：

在很久以前的情人节，一位大侠要去救他的爱人，但天空中的魔鬼和他玩了一个游戏。

魔鬼在桌子上似乎有规律放了两种颜色的球，说：“你用一根棍分开它们？要求：尽量在放更多球之后，仍然适用。”

于是大侠这样放，干的不错？也就是我们的感知机模型。

然后魔鬼，又在桌上放了更多的球，似乎有一个球站错了阵营。显然，大侠需要对棍做出调整。

SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙。这个间隙就是球到棍的距离。也就是我们的线性可分支持向量机。

现在好了，即使魔鬼放了更多的球，棍仍然是一个好的分界线。

魔鬼看到大侠已经学会了一个trick(方法、招式)，于是魔鬼给了大侠一个新的挑战。

现在，大侠没有棍可以很好帮他分开两种球了，现在怎么办呢？当然像所有武侠片中一样大侠桌子一拍，球飞到空中。然后，凭借大侠的轻功，大侠抓起一张纸，插到了两种球的中间。也就是我们的核技巧。

现在，从空中的魔鬼的角度看这些球，这些球看起来像是被一条曲线分开了。也就是我们的线性不可分支持向量机。

再之后，无聊的大人们，把这些球叫做data，把棍子叫做classifier, 找到最大间隙的trick叫做optimization，拍桌子叫做kernelling, 那张纸叫做hyperplane。

二、支持向量机模型

模型就是分离超平面，与感知机那个超平面用来分离数据的超平面意义一样，不一样的是这里的分离超平面约束更多，使得分离超平面唯一且效果会更好。另外一点就是可以处理线性不可分的情形，使用核技巧对数据增加维度（特征空间不一定是升维），维度增加到一定程度总能找到分离超平面。当然核技巧也可以应用到感知机模型。

加了一个约束条件就是“分类间隔”最大化，使得分离超平面唯一且是最好的。

下面从最简单的线性可分支持向量机进行说明。

1、何为分类间隔

（1）函数间隔

在分离超平面$wx+b=0$确定的情况下，$|wx+b|$能够相对地表示点$x$距离超平面的远近。很多地方直接说成是距离，其实不对的，就看二维平面也是说不通的，但是可以相对地表示远近。不过后文为了简便还是直接说成距离。而$wx+b$的符号与类标记$y$的符号是否一致能够表示分类是否正确。所以可用量$y(wx+b)$来表示分类的正确性及确信度，这就是函数间隔。

对于给定的训练数据集T和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为：
$${\hat{\gamma }}_i=y_i(w{x}_i+b)\text{\hspace{1em}(1)}$$
定义超平面$(w,b)$关于训练数据集T的函数间隔为超平面$(w,b)$关于T中所有样本点$(x_i,y_i)$的函数间隔之最小值，即：
$$\hat{\gamma }=mi{n}_{i=1,\cdots ,N}{\hat{\gamma }}_i\text{\hspace{1em}(2)}$$

在分离超平面$wx+b=0$确定的情况下，函数间隔可以表示分类预测的正确性及确信度。但是选择分离超平面时，只有函数间隔还远不够。因为只要成倍的改变w和b，函数间隔就会成倍变大或者变小，但此时分离超平面其实没有变化，这就使得在寻找最大化的分类间隔时不能用函数间隔来度量。这就需要我们把分离超平面的法向量w约束起来，如规范化，$||w||=1$，使得超平面只对应一个间隔。那么将引出另外一个定义——几何间隔。

（2）几何间隔

对于给定的训练数据集T和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔为：
$${\gamma }_i=y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})\text{\hspace{1em}(3)}$$
定义超平面$(w,b)$关于训练数据集T的几何间隔为超平面$(w,b)$关于T中所有样本点$(x_i,y_i)$的几何间隔之最小值，即：
$$\gamma =mi{n}_{i=1,\cdots ,N}{\gamma }_i\text{\hspace{1em}(4)}$$
超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔一般是实例点到超平面的带符号的距离，当样本点被超平面正确分类时就是实例点到超平面的距离。

模型的约束是“分类间隔”最大化，此时的几何间隔即可以用来作为分类间隔。

2、分类间隔最大化

支持向量机的策略就是最大化分类间隔，即最大化几何间隔。即下面的约束最优化问题：
$$\begin{array}{rl}\underset{w,b}{\max }& \gamma \\ s.t.& y_i\left(\frac{w}{||w||}{x}_i+\frac{b}{||w||}\right)\ge \gamma ,i=1,2,\cdots ,N\end{array}$$

函数间隔和几何间隔的关系：
$${\gamma }_i=\frac{{\hat{\gamma }}_i}{||w||}\text{\hspace{1em}(5)}$$
$$\gamma =\frac{\hat{\gamma }}{||w||}\text{\hspace{1em}(6)}$$

则最优化问题等价为：
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{\hat{\gamma }}{||w||}\\ s.t.& y_i\left(w{x}_i+b\right)\ge \hat{\gamma },i=1,2,\cdots ,N\end{array}$$

做两点变换，但不影响最优化问题：

• 取$\hat{\gamma }=1$，因为对于任何一个超平面都可以使得其函数间隔为1，只要对w和b做相应的放大和缩小就行，另外取1可以使得计算最简单，当然不能为了简单取0；
• 最大化$\frac{1}{||w||}$和最小化$\frac{1}{2}||w|{|}^2$是等价的。是为了算法求解简单，凸二次优化有成熟的工具，这样一求导数就只有$w$了。

则最优化问题等价为：
$$\begin{array}{rlr}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2& (7)\\ s.t.& 1-y_i\left(w{x}_i+b\right)\le 0,i=1,2,\cdots ,N& (8)\end{array}$$

线性可分支持向量机学习算法——最大间隔法

输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中， x i ∈ R n , y i ∈ { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_i \in R^n,y_i \in \{-1,+1\},i =1,2,\cdots ,N xi​∈Rn,yi​∈{−1,+1},i=1,2,⋯,N；

输出：最大间隔分离超平面和分类决策函数。

（1）构造并求解约束最优化问题：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& 1-y_i\left(w{x}_i+b\right)\le 0,i=1,2,\cdots ,N\end{array}$$
求得最优解$w^{\ast },b^{\ast }$。

（2）由此得到分离超平面：
$$w^{\ast }x+b^{\ast }=0$$
分类决策函数：
$$f(x)=sign(w^{\ast }x+b^{\ast })$$

3、支持向量机中涉及的数学知识

需要求解的最优化问题：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& 1-y_i\left(w{x}_i+b\right)\le 0,i=1,2,\cdots ,N\end{array}$$

（1）凸函数

在凸几何中，凸集(convex set)是在凸组合下闭合的放射空间的子集。看一幅图可能更容易理解：

左右量图都是一个集合。如果集合中任意2个元素连线上的点也在集合中，那么这个集合就是凸集。显然，上图中的左图是一个凸集，上图中的右图是一个非凸集。

凸函数的定义也是如此，其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值。对于凸子集C中任意两个向量 $x_1,x_2$有$f((x_1+x_2)/2)\le (f(x_1)+f(x_2))/2$成立。于是容易得出对于任意（0,1）中有理数$\lambda$，有$f(\lambda x_1+(1-\lambda )x_2))\le \lambda f(x_1)+(1-\lambda )f(x_2)$。再看一幅图，也许更容易理解：

像上图这样的函数，它整体就是一个非凸函数，我们无法获得全局最优解的，只能获得局部最优解。比如红框内的部分，如果单独拿出来，它就是一个凸函数。对于我们的目标函数：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$
很显然，它是一个凸函数。

（2）常见最优化问题

• $(a)$无约束优化问题，可以写为：$minf(x)$
• $(b)$有等式约束的优化问题，可以写为：
  $$\begin{array}{rl}& \min f(x)\\ s.t.& h_i(x)=0,i=1,2,\cdots ,N\end{array}$$
• $(c)$有等式和不等式约束的优化问题，可以写为：
  $$\begin{array}{rl}& \min f(x)\\ s.t.& g_i(x)\le 0,i=1,2,\cdots ,N\\ & h_j(x)=0,j=1,2,\cdots ,M\end{array}$$

对于第(a)类的优化问题，尝试使用的方法就是费马大定理(Fermat)，即使用求取函数f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。这也就是我们高中经常使用的求函数的极值的方法。

对于第(b)类的优化问题，常常使用的方法就是拉格朗日乘子法（Lagrange Multiplier) ，即把等式约束$h_i(x)$用一个系数与$f(x)$写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。

对于第$(c)$类的优化问题，常常使用的方法就是KKT条件。同样地，我们把所有的等式、不等式约束与$f(x)$写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的充要条件，这个条件称为KKT条件。

充分条件和必要条件的理解

如果条件A是结论B的充分条件：A与其他条件是并连关系，即A、C、D….中任意一个存在都可以使得B成立（就像是个人英雄主义），如下图：

用法推导：

• 如果条件A存在，B肯定成立，即A→B（箭头表示能够推导出）
• 如果B不成立，则说明所有可能的条件都不存在，因此A肯定也不存在，即非B→非A
• 如果条件A不存在，而条件C、D可能存在，也可以使得B成立，即不能导出非A→非B

条件A是结论B的必要条件：A与其他条件是串联关系，即条件A必须存在，且条件C、D….也全部存在才可能导致B结论。（团结的力量）如下图：

用法推导：

• 如果B成立了，说明所有条件都存在，肯定存在条件A。即B→A。
• 如果条件A不存在，串联少了一个条件，B也肯定不能成立，即 非A→非B。
• 如果B不成立，可能是C，D不存在但A存在，只是C、D掉链子了，即不能导出 非B→非A。

（3）拉格朗日函数

一个最优化模型能够表示成下列标准形式：
$$\begin{array}{rl}& \min f(x)\\ s.t.& g_i(x)\le 0,i=1,2,\cdots ,N\\ & h_j(x)=0,j=1,2,\cdots ,M\end{array}$$
则其广义拉格朗日函数为：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^N{\alpha }_i{g}_i(x)+\sum _{j=1}^M{\beta }_j{h}_j(x)$$

• $f(x)$可微

（4）KKT条件

∇ x L ( x ∗ , α ∗ , β ∗ ) = 0      ( a ) ∇ α L ( x ∗ , α ∗ , β ∗ ) = 0      ( b ) ∇ β L ( x ∗ , α ∗ , β ∗ ) = 0      ( c ) α i ∗ g i ( x ∗ ) = 0 ,    i = 1 , 2 , ⋯   , N      ( d ) g i ( x ∗ ) ≤ 0 ,    i = 1 , 2 , ⋯   , N      ( e ) α i ∗ ≥ 0 ,    i = 1 , 2 , ⋯   , N      ( f ) h j ( x ∗ ) = 0 ,    j = 1 , 2 , ⋯   , m      ( g ) \begin{aligned} & \nabla_x L(x^*,\alpha^*,\beta^*) = 0 &\space\space\space\space(a)\\ & \nabla_{\alpha} L(x^*,\alpha^*,\beta^*) = 0 &\space\space\space\space(b)\\ & \nabla_{\beta} L(x^*,\alpha^*,\beta^*) = 0 &\space\space\space\space(c)\\ & \alpha_i^* g_i(x^*) = 0 ,\space\space i = 1,2,\cdots ,N &\space\space\space\space(d)\\ & g_i(x^*) \leq 0 ,\space\space i = 1,2,\cdots ,N &\space\space\space\space(e)\\ & \alpha_i^* \geq 0 ,\space\space i = 1,2,\cdots ,N &\space\space\space\space(f)\\ & h_j(x^*) = 0 ,\space\space j = 1,2,\cdots ,m &\space\space\space\space(g)\\ \end{aligned} ​∇x​L(x∗,α∗,β∗)=0∇α​L(x∗,α∗,β∗)=0∇β​L(x∗,α∗,β∗)=0αi∗​gi​(x∗)=0,  i=1,2,⋯,Ngi​(x∗)≤0,  i=1,2,⋯,Nαi∗​≥0,  i=1,2,⋯,Nhj​(x∗)=0,  j=1,2,⋯,m​    (a)    (b)    (c)    (d)    (e)    (f)    (g)​

• 条件(a)为原函数在切点的法向量被约束曲线在该点的法向量线性表示
• 条件（b）(c）表示最优解落在约束条件所在的曲线上
• 条件（d）最优解在约束曲线上时，其表达式为0，若不在某条约束曲线上，为了使最后的结果为0，其系数必须为0，从而使不产生作用的曲线在计算时不产生作用。该条件也称为KKT的对偶互补条件。
• 条件（e）为约束条件的表达形式，都是小于等于的形式
• 条件（f）使得原函数的法向量与约束曲线的法向量在切点处异号
• 条件（g）为等式约束的形式

（5）拉格朗日对偶性

$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^N{\alpha }_i{g}_i(x)+\sum _{j=1}^M{\beta }_j{h}_j(x)$$
通过拉格朗日乘法，把约束条件加上新的变量构成了一个新的函数，虽然新的函数中变量变多了，但是没有了限制条件。
考虑x的函数（下标P表示原始问题）：
$${\theta }_P(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$

这个max的意义是在于，我们将所有的x样本根据取值的不同分成了满足条件和不满足条件的两部分，用函数的取值代替了原来的约束条件。现在这个${\theta }_P(x)$是x的函数，给定某一个x，我们让${\theta }_P(x)$ 取最大，只要根据x的取值情况来调整其系数$\alpha ,\beta$ 即可。x的取值情况有两种：

• 满足原始问题的约束，这种情况下$g_i(x)\le 0,h_j(x)=0$，并且${\alpha }_i\ge 0$，那我们只要让$g_i$的拉格朗日系数$\alpha$为0，就能得到最大的结果$f(x)$。
• 不满足原始问题的约束，这种情况下要么$g_i(x)>0或者h_j(x)̸=0$，那我们就能通过改变$\alpha ,\beta$使得${\theta }_P(x)$取到正无穷。

所以我们就有如下的式子：
$${\theta }_P(x)=\{\begin{array}{ll}f(x),& x满足原始问题的约束\\ +\infty ,& x其他\end{array}$$
再考虑极小化问题：
$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
这个问题的解和原问题是等价的，即它和原始问题（带有约束条件的f(x)最小化问题）有着相同的解。因为对 ${\theta }_P(x)$取最小值，就是对f(x)取最小值。如果我们定义原始问题的最优解为$p^{\ast }$，那我们也有：
$$p^{\ast }=\underset{x}{\min }{\theta }_P(x)$$
到这里，我们就将原来带有约束条件的极小化问题，变成了不带约束条件的极小极大问题。到这一步我们还是无法求解，所以我们引入对偶问题，将极小极大问题转化为极大极小问题。

（6）对偶问题

定义：
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$
然后极大化${\theta }_D$：
$$\underset{\alpha ,\beta }{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )s.t.{\alpha }_i\ge 0,i=1,2,\cdots ,N$$
之前我们是先求极大值，再求极小值，先求极大值的好处是可以根据结果将数据分为满足条件和不满足条件的两部分，然后再对结果求最小，即变成了对满足条件的x求最小值还原了原始问题。现在我们反过来，先求极小值再求极大值，将该问题成为原始问题的对偶问题，定义对偶问题的最优值：
$$d^{\ast }=\underset{\alpha ,\beta }{\max }{\theta }_D(\alpha ,\beta )$$

• 原始问题先固定x，求最优化（极大化）的$\alpha ,\beta$的解，再确定x（通过极小化）
• 对偶问题是先固定$\alpha ,\beta$，求最优化（极小化）的x的解，在确定$\alpha ,\beta$（通过极大化）

原始问题与对偶问题的关系

我们要求原始问题的最优解，现在转化成了对偶问题的最优解，这两个解有什么关系呢，我们最想看到的就是这两个解是等价的，这样直接解对偶问题就行。

若原始问题和对偶问题都有最优值，则：
$$d^{\ast }=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$

证明：

对于任意的$x,\alpha ,\beta$有：
$$\underset{x}{\min }L(x,\alpha ,\beta )\le L(x,\alpha ,\beta )\le \underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
所以有：
$$\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
因为上述式子是在任意条件下的$x,\alpha ,\beta$，最大最小是任意条件中的特殊情况，所以我们有：
$$d^{\ast }=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$
即对偶问题的解小于等于原始问题的解$d^{\ast }\le p^{\ast }$。只有当等号成立的时候我们才能通过对偶问题来解决原始问题，那什么时候等式成立呢？那就是我们上述所说的KKT条件满足的时候。

4、线性可分支持向量机的优化

$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& 1-y_i\left(w{x}_i+b\right)\le 0,i=1,2,\cdots ,N\end{array}$$
根据凸函数的定义，我们的目标函数是凸函数，由于有不等式约束，我们的优化问题属于（c）类优化问题，需要使用KKT条件。

把约束问题转化为不带约束的优化问题，注意下对于支持向量机的优化，需要寻找最优的是参数$w,b$,则拉格朗日函数为：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i\left(w{x}_i+b\right))\text{\hspace{1em}(9)}$$

$w^{\ast },b^{\ast },{\alpha }^{\ast }$为拉格朗日函数最优解，则KKT条件为：
$$\begin{array}{rlr}& {\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=0& (aa)\\ & {\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=0& (bb)\\ & {\nabla }_{\alpha }L(w^{\ast },b^{\ast },{\alpha }^{\ast })=0& (cc)\\ & {\alpha }_i^{\ast }\left(1-y_i(w^{\ast }{x}_i+b^{\ast })\right)=0,i=1,2,\cdots ,N& (dd)\\ & 1-y_i(w^{\ast }{x}_i+b^{\ast })\le 0,i=1,2,\cdots ,N& (ee)\\ & {\alpha }_i^{\ast }\ge 0,i=1,2,\cdots ,N& (ff)\end{array}$$

根据拉格朗日函数对偶性定义：
$${\theta }_P(w,b)=\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha ）$$
$${\theta }_P(w,b)=\{\begin{array}{ll}\frac{1}{2}||w|{|}^2,& w,b满足原始问题的约束\\ +\infty ,& w,b其他\end{array}$$

$$\underset{w,b}{\min }{\theta }_P(w,b)=\underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$$
如果我们定义原始问题的最优解为$p^{\ast }$，那有：
$$p^{\ast }=\underset{w,b}{\min }{\theta }_P(w,b)$$

到这里，我们就将原来带有约束条件的极小化问题，变成了不带约束条件的极小极大问题。到这一步我们还是无法求解，所以我们引入对偶问题，将极小极大问题转化为极大极小问题。

求解原问题的对偶问题

定义：
$${\theta }_D(\alpha )=\underset{w,b}{\min }L(w,b,\alpha )$$
然后极大化${\theta }_D$：
$$\underset{\alpha }{\max }{\theta }_D(\alpha )=\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )s.t.{\alpha }_i\ge 0,i=1,2,\cdots ,N$$
定义对偶问题的最优值：
$$d^{\ast }=\underset{\alpha }{\max }{\theta }_D(\alpha )$$

根据原问题与对偶问题的关系有：
$$d^{\ast }=\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\le \underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )=p^{\ast }$$

所以支持向量机的最优化问题变成求解其对偶问题。

5、线性可分支持向量机对偶问题的求解

支持向量机优化的对偶问题：
$$d^{\ast }=\underset{\alpha }{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\alpha )s.t.{\alpha }_i\ge 0,i=1,2,\cdots ,N\text{\hspace{1em}(10)}$$
$$L(w,b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i\left(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\right))$$

（1）求解对偶问题的内层

固定$\alpha$，要让$L(w,b,\alpha )$关于w和b最小化，我们分别对w和b偏导数，令其等于0，即使用KKT条件中（aa）（bb）有：
$${\nabla }_{w}L(\mathbf{w},b,\alpha )=0\Rightarrow \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\text{\hspace{1em}(11)}$$
统计学习方法这里直接用的$x_i$，为了严谨点，这里需要用的$x_i^T$。推荐参考向量的求导。
$${\nabla }_{b}L(\mathbf{w},b,\alpha )=0\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(12)}$$
将上述结果代回$L(w,b,\alpha )$得到：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i\left(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\right))\\ & =\frac{1}{2}\mathbf{w}\cdot {\mathbf{w}}^T-\mathbf{w}\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i\\ & =\frac{1}{2}\mathbf{w}\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}-\mathbf{w}\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}-b\cdot 0+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})+\sum _{i=1}^N{\alpha }_i\end{array}\text{\hspace{1em}(13)}$$

（2）求解对偶问题的外层

现在内侧的最小值求解完成，我们求解外侧的最大值，从上面的式子得到：
$$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})+\sum _{i=1}^N{\alpha }_i\\ s.t.& {\alpha }_i\ge 0,i=1,2,\cdots ,N\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
上面求解问题等价为下面的最优化问题：
$$\begin{array}{rlr}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})-\sum _{i=1}^N{\alpha }_i& (14)\\ s.t.& {\alpha }_i\ge 0,i=1,2,\cdots ,N& (15)\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0& (16)\end{array}$$
求得$d^{\ast }={\max }_{\alpha }{\theta }_D(\alpha )的最优解为{\alpha }^{\ast }$

则根据KKT条件能求得：
$$\begin{array}{rl}& w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\\ & b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})\end{array}$$

证明：

由KKT条件有：
$$\begin{array}{rl}& {\nabla }_{w}L({\mathbf{w}}^{\ast },b^{\ast },{\alpha }^{\ast })={\mathbf{w}}^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T=0\\ & {\nabla }_{b}L({\mathbf{w}}^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ & {\alpha }_i^{\ast }\left(1-y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })\right)=0,i=1,2,\cdots ,N\\ & 1-y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })\le 0,i=1,2,\cdots ,N\\ & {\alpha }_i^{\ast }\ge 0,i=1,2,\cdots ,N\end{array}$$
由此可得$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T$
其中至少有一个${\alpha }_j^{\ast }>0$（用反证法，假设${\alpha }^{\ast }=0$，由上式可知$w^{\ast }=0$，而$w^{\ast }=0$不是原始最优化问题的解，产生矛盾），对此j有：
$$\begin{array}{rl}& y_j({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_{\mathbf{j}}+b^{\ast })-1=0\\ & y_j(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}}+b^{\ast })-1=0\\ & y_j\times y_j(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}}+b^{\ast })-y_j=0\end{array}$$
因为有$y_j^2=1$，则可求得：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})$$

则最终求得的分类决策函数可以写成：
$$f(x)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\cdot \mathbf{x}+b^{\ast }\right)$$

也就是说明向量机的最优求解问题最终变成了求解${\alpha }^{\ast }$。目标函数本来可以挺简单的直接求解$|w|$的最小值即可，现在变得这么复杂${\min }_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})-{\sum }_{i=1}^N{\alpha }_i$目的就是为了减少计算量，加快计算速度。因为变成这种形式，将可以使用一种更高效的的求解方法SMO算法。何为SMO静待后文分析。不过要先说明另外两个问题，前文所有的分析都是基于数据线性可分的情况下推导的，此时求得的最大分类间隔为硬间隔，但实际中数据往往线性不可分或者非线性可分较多。那么需要做两件事，第一是允许有异类，但是对异类有惩罚；第二，通过核函数增维数据，变成线性可分。

三、线性支持向量机

数据集完全线性可分时的优化问题：
$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }& \frac{1}{2}||\mathbf{w}|{|}^2\\ s.t.& y_i\left(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\right)\ge 1,i=1,2,\cdots ,N\end{array}$$

通常情况下，训练数据中有一些特异点，将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的。

线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件。为了解决这个问题，可以对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1.这样，约束条件变为：
$$y_i\left(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\right)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$
对于每一特异点虽然也让它入伙，但是需要支付额外的代价，即松弛变量${\xi }_i\times 1$，目标函数由原来的$\frac{1}{2}||w|{|}^2$变成：
$$\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i$$
这里，$C>0$为惩罚参数，一般由应用问题决定，C值大时对误分类的惩罚增大，使得选择$|w|$更小的分离超平面，容易过拟合。C值小时对误分类的惩罚减小，则在预测的时候可能容易预测错。实际中可以交叉验证来选择合适的C值。

1、线性支持向量机目标函数

线性不可分的线性支持向量机的学习问题变成如下凸二次规划问题
$$\begin{array}{rlr}\underset{\mathbf{w},b,\xi }{\min }& \frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i& (17)\\ s.t.& 1-{\xi }_i-y_i\left(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\right)\le 0,i=1,2,\cdots ,N& (18)\\ & -{\xi }_i\le 0,i=1,2,\cdots ,N& (19)\end{array}$$

2、拉格朗日函数

$$L(\mathbf{w},b,\xi ,\alpha ,\mu )=\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i\left(1-{\xi }_i-y_i(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b)\right)-\sum _{i=1}^N{\mu }_i{\xi }_i\text{\hspace{1em}(20)}$$

3、KKT条件

$$\begin{array}{rlr}& {\nabla }_{w}L({\mathbf{w}}^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })={\mathbf{w}}^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T=0& (k1)\\ & {\nabla }_{b}L({\mathbf{w}}^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0& (k2)\\ & {\nabla }_{\xi }L({\mathbf{w}}^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=C-{\alpha }^{\ast }-{\mu }^{\ast }=0& (k3)\\ & {\nabla }_{\alpha }L({\mathbf{w}}^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=0& (k4)\\ & {\nabla }_{\mu }L({\mathbf{w}}^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=0& (k5)\\ & {\alpha }_i^{\ast }\left(1-{\xi }_i^{\ast }-y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })\right)=0& (k6)\\ & 1-{\xi }_i^{\ast }-y_i\left({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast }\right)\le 0& (k7)\\ & {\mu }_i^{\ast }{\xi }_i^{\ast }=0& (k8)\\ & -{\xi }_i^{\ast }\le 0& (k9)\\ & {\alpha }_i^{\ast }\ge & (k10)\\ & {\mu }_i^{\ast }\ge 0& (k11)\\ & i=1,2,\cdots ,N& \end{array}$$

4、原始问题与对偶问题

原始问题：
$$\underset{\mathbf{w},b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(\mathbf{w},b,\xi ,\alpha ,\mu )$$
对偶问题：
$$\underset{\alpha ,\mu }{\max }\underset{\mathbf{w},b,\xi }{\min }L(\mathbf{w},b,\xi ,\alpha ,\mu )$$

5、线性支持向量机对偶问题的求解

（1）求解对偶问题的内层

根据KKT条件中的（k1）（k2）（k3）代入式（20）到目标函数得到：
$${\theta }_D(\alpha ,\mu )=\underset{\mathbf{w},b,\xi }{\min }L(\mathbf{w},b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(21)}$$

（2）求解对偶问题的外层

由于优化函数里面没有参数$\mu$，可以不考虑$\mu$，利用KKT条件中的(k2)(k3)(k10)(k11),则相当于求解下面最优问题：
$$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})+\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i\ge 0\\ & {\mu }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

上最优化问题等价为：
$$\begin{array}{rlr}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})-\sum _{i=1}^N{\alpha }_i& (22)\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0& (23)\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N& (24)\end{array}$$

对比式（21）-（24）与式（13）-（16），发现线性可分支持向量机与线性支持向量机最终需要优化的函数完全一致，只是里面的约束条件不一样。多了一个参数C，C越大，线性向量机会尽可能去拟合数据。

若求得最优解${\alpha }^{\ast }$,则根据KKT条件能求得：
$$\begin{array}{rl}& w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\\ & b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({{\mathbf{x}}_{\mathbf{i}}}^T\cdot {\mathbf{x}}_{\mathbf{j}})\end{array}$$
则最终求得的分类决策函数可以写成：
$$f(x)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\cdot \mathbf{x}+b^{\ast }\right)$$
上式为线性支持向量机的对偶形式。

6、支持向量

在线性不可分的情况下，最终的解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例$x_i$称为支持向量（软间隔的支持向量）。
根据KKT条件中的（k6）可得当${\alpha }_i^{\ast }>0$时有：
$$y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })=1-{\xi }_i^{\ast }\text{\hspace{1em}(25)}$$

• 若$0<{\alpha }_i^{\ast }<C$,则${\mu }_i^{\ast }=C-{\alpha }_i^{\ast }>0$，根据KKT条件（k8）可得${\xi }_i^{\ast }=0$，即有$y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })=1-{\xi }_i^{\ast }=1$,分类正确，支持向量$x_i$恰好落在间隔边界上；
• 若${\alpha }_i^{\ast }=C，0<{\xi }_i^{\ast }<1$，即有$y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })=1-{\xi }_i^{\ast }>0$,分类正确，$x_i$在间隔边界与分离超平面之间；
• 若${\alpha }_i^{\ast }=C,{\xi }_i^{\ast }=1$，即有$y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })=1-{\xi }_i^{\ast }=0$，则$x_i$在分离超平面上；
• 若${\alpha }_i^{\ast }=C,{\xi }_i^{\ast }>1$,即有$y_i({\mathbf{w}}^{\ast }{\mathbf{x}}_{\mathbf{i}}+b^{\ast })=1-{\xi }_i^{\ast }<0$，则$x_i$位于分离超平面误分一侧。

7、合页损失函数

$$L(y(\mathbf{w}\mathbf{x}+b))=[1-y(\mathbf{w}\mathbf{x}+b){]}_{+}+\lambda ||\mathbf{w}|{|}^2$$
取正值函数：
$$[z{]}_{+}=\{\begin{array}{ll}z,& z>0\\ 0,& z\le 0\end{array}$$

合页损失函数

与线性支持向量机原始最优化问题等价：
$$\begin{array}{rl}\underset{\mathbf{w},b,\xi }{\min }& \frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i\\ s.t.& 1-{\xi }_i-y_i\left(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\right)\le 0,i=1,2,\cdots ,N\\ & -{\xi }_i\le 0,i=1,2,\cdots ,N\end{array}$$

四、非线性支持向量机与核函数

第二部分：07_支持向量机2_统计学习方法

五、SMO算法

第三部分：07_支持向量机3_统计学习方法

参考资料：

• 统计学习方法—李航
• 从KKT条件下的拉格朗日乘法到拉格朗日对偶问题
• 机器学习实战教程（八）
• 以及文中链接