ML算法推导细节03—支持向量机SVM

探究算法细节，深入了解算法原理

参考摘抄：刘建平博客

1. 线性SVM的硬间隔

• 能找出泛化能力最强的分类超平面
• 是二分类算法，支持非线性分类，支持多元分类，支持回归问题
• 仅仅使用部分支持向量来做超平面的决策，无需依赖全部数据
• SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用

1.1 支持向量

二分类问题：分类超平面为 $w^{T}x+b=0$

线性模型：当 $w^{T}x+b>0$ 时 y=1，当 $w^{T}x+b<0$ 时 y=-1。

SVM思想

• 希望所有的样本点远离分类超平面。
• 实际上离超平面很远的点已经被正确分类，再让其远离超平面没有意义。
• 更关心的是离超平面很近的点，这些点容易被误分类。
• 为了更好的分类效果，让离超平面比较近的点尽可能远离超平面。

支持向量到分类超平面的距离：$\frac{1}{||w||}$，优化目标是最大化这个距离。

任意样本点到分类超平面的距离为：$r=\frac{w^{T}x+b}{||w||}$，距离推导

当 $w^{T}x+b\ge 1$ 时 y=1，当 $w^{T}x+b\le -1$ 时 y=-1。

函数间隔：${\gamma }^{{}^{\prime }}=y(w^{T}x+b)$

1.2 SVM的目标函数及对偶优化

SVM模型是让所有样本点到超平面的距离大于一定的距离，也就是所有的样本点要在各自类别的支持向量两边。

（1）优化目标函数为：
$$\underset{w,b}{\underbrace{\max }}\frac{1}{||w||}\text{ s.t. }{y}_i\left(w^T{x}_i+b\right)\ge 1(i=1,2,\dots m)$$

等价于：
$$\underset{w,b}{\underbrace{\min }}\frac{1}{2}||w|{|}^2\text{ s.t. }{y}_i\left(w^T{x}_i+b\right)\ge 1(i=1,2,\dots m)$$

（2）对于所有的样本点满足 $1-y_i\left(w^T{x}_i+b\right)\le 0$，说明存在最大值

目标函数 $\frac{1}{2}||w|{|}^2$ 是凸函数，根据凸优化理论，通过拉格朗日乘子法将不等式约束条件转化为无约束的目标函数：

$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left[1-y_i\left(w^T{x}_i+b\right)\right]满足{\alpha }_i\ge 0$$

KKT条件： 对于一般的任意问题而言，KKT条件是使一组解成为最优解的必要条件，当原问题是凸问题的时候，KKT条件也是充分条件。

优化目标变成：

$$\underset{w,b}{\underbrace{\min }}\left[\underset{{\alpha }_i\ge 0}{\underbrace{\max }}L(w,b,\alpha )\right]$$

（3）通过拉格朗日对偶，将优化问题转换为等价的对偶问题来求解：

$$\underset{{\alpha }_i\ge 0}{\underbrace{\max }}\left[\underset{w,b}{\underbrace{\min }}L(w,b,\alpha )\right]$$

即无约束的优化目标为：
$$\underset{{\alpha }_i\ge 0}{\underbrace{\max }}\left[\underset{w,b}{\underbrace{\min }}\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left[1-y_i\left(w^T{x}_i+b\right)\right]\right]$$

（4）先求目标函数对于w和b的极小值，再求拉格朗日乘子α的极大值。

对 w、b 求偏导，求 L(w,b,α) 的极小值

$$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0$$

• 得到了 w 和 α 的关系，只要求出 α，就能求出 w
• α 通过极大化目标函数来求取
• 上两个式子将 b 消去了，b 通过支持向量来求取

（5）将上两个式子带入目标函数，定义
$$\psi (\alpha )=\underset{w,b}{\underbrace{\min }}L(w,b,\alpha )$$

$$\begin{array}{rl}\psi (\alpha )& =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}||\sum _{i=1}^m{\alpha }_i{y}_i{x}_i|{|}^2\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$

（6）优化目标函数变为：

$$\underset{{\alpha }_i\ge 0}{\underbrace{\max }}\left(\psi (\alpha )\right)=\underset{\alpha }{\underbrace{\max }}\left(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\right)s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0$$

等价于极小化问题：
$$\underset{\alpha }{\underbrace{\min }}\left(\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i\right)s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0$$

（7）使用SMO算法求解 α，后面会讲，暂时假设已经求得了${\alpha }^{\ast }$

1.3 求取SVM的w、b

$$w^{\ast }=\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{x}_i$$

求b则稍微麻烦一点。对于任意支持向量$(x_s,y_s)$，都有
$$y_s\left(w^T{x}_s+b\right)=y_s\left(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T{x}_s+b\right)=1$$

• 假设有S个支持向量，求出S个$b^{\ast }$，理论上这些b∗都可以作为最终的结果
• 采用一种更健壮的办法，即求出所有支持向量对应的$b^{\ast }$，平均值作为最后的结果
• 对于严格线性可分的SVM，b的值是有唯一解的，即所有$b^{\ast }$都是一样的
• 这里仍然这么写是为了和后面加入软间隔后的SVM的算法描述一致

如何得到支持向量？

• 根据KKT条件中的对偶互补条件，${\alpha }_i^{\ast }\left(y_i\left(w^T{x}_i+b\right)-1\right)=0$
• 如果 ${\alpha }_i>0$，则 $y_i(w^T{x}_i+b)=1$，样本点是支持向量
• 否则如果 ${\alpha }_i=0$，则有 $y_i(w^T{x}_i+b)\ge 1$，样本点是支持向量，或被正确分类

找出所有的S个支持向量，就是满足 ${\alpha }_s>0$ 对应的样本 $(x_s,y_s)$

最终的分类超平面为：$w^{\ast }\bullet x+b^{\ast }=0$
最终的分类决策函数为：$f(x)=sign(w^{\ast }\bullet x+b^{\ast })$

2. 线性SVM的软间隔

硬间隔：有异常点时无法线性可分，或者泛化性能下降
软间隔：对训练集中的每个样本$(x_i,y_i)$引入一个松弛变量 ${\xi }_i\ge 0$
$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$

软间隔，对样本到超平面的距离要求放松了

2.1 线性SVM的软间隔最大化

目标函数：
$$\min \left(\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\right)$$

$$s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0(i=1,2...,m)$$

C>0 为惩罚系数，相当于正则化系数，C越大，$||w||$越小，分类错误的点越少，越容易过拟合

2.2 软间隔最大化目标函数的优化

利用拉格朗日乘子法，将约束问题转换成无约束问题
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i\left[1-{\xi }_i-y_i\left(w^T{x}_i+b\right)\right]-\sum _{i=1}^m{\mu }_i{\xi }_i$$

其中 ${\mu }_i\ge 0$，${\alpha }_i\ge 0$，均为拉格朗日系数。

要优化的目标函数为：
$$\underset{w,b,\xi }{\underbrace{\min }}\left[\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\underbrace{\max }}L(w,b,\alpha ,\xi ,\mu )\right]$$

这个优化目标满足KKT条件，通过拉格朗日对偶，转换为等价的对偶问题：
$$\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\underbrace{\max }}\left[\underset{w,b,\xi }{\underbrace{\min }}L(w,b,\alpha ,\xi ,\mu )\right]$$

先求优化函数对$w,b,\xi$的极小值，再求拉格朗日乘子$\alpha ,\mu$的极大值

$$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0$$

$$\frac{\partial L}{\partial \xi }=0\Rightarrow C-{\alpha }_i-{\mu }_i=0$$

带入后可得，
$$\underset{w,b,\xi }{\underbrace{\min }}L(w,b,\alpha ,\xi ,\mu )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$

与硬间隔目标函数一样，约束条件不同，优化目标为：
$$\underset{\alpha }{\underbrace{\max }}\left(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\right)$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,C-{\alpha }_i-{\mu }_i=0,{\alpha }_i\ge 0,{\mu }_i\ge 0(i=1,2...,m)$$

消去${\mu }_i\ge 0$，则$0\le {\alpha }_i\le C$，同时将目标函数变号，求极小值

$$\underset{\alpha }{\underbrace{\min }}\left(\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i\right)$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C(i=1,2...,m)$$

优化目标与硬间隔相比，仅仅是多了约束条件 $0\le {\alpha }_i\le C$

仍然通过SMO算法对上式极小化，求取${\alpha }^{\ast }$，然后求出 $w,b$

2.3 软间隔最大化的支持向量

第i个点到对应类别支持向量的距离为$\frac{{\xi }_i}{||w||}$

根据软间隔最大化时 KKT条件中的对偶互补条件：
$${\alpha }_i^{\ast }\left(y_i\left(w^T{x}_i+b\right)-1+{\xi }_i^{\ast }\right)=0$$

（1）如果 $\alpha =0$，那么 $y_i(w^T{x}_i+b)-1\ge 0$，样本在间隔边界上，或者被正确分类

（2）如果 $0<\alpha <C$，那么 ${\xi }_i=0,y_i(w^T{x}_i+b)-1=0$，即点在间隔边界上

（3）如果 $\alpha =C$

• 如果 $0\le {\xi }_i\le 1$，点被正确分类，但是在分类超平面和间隔边界之间，如样本2和4
• 如果 ${\xi }_i=1$，则点在分类超平面上
• 如果 ${\xi }_i>1$，则点在超平面的另一侧，误分类，如样本1和3

所有的S个支持向量对应的样本$(x_s,y_s)$，通过 $y_s({\sum }_{i=1}^S{\alpha }_i{y}_i{x}_i^T{x}_s+b)=1$ 求出 $b_s^{\ast }$

软间隔中，$w^{\ast }$是唯一的，$b^{\ast }$不是唯一的

$b_s^{\ast }=y_s-{\sum }_{i=1}^S{\alpha }_i{y}_i{x}_i^T{x}_s$，$b^{\ast }=\frac{1}{S}{\sum }_{i=1}^S{b}_s^{\ast }$

2.4 经验风险和结构风险

经验函数：对训练集的平均损失称为经验风险，$\frac{1}{m}{\sum }_{i=1}^{m}L(y_i,f(x_i))$

监督学习的两种策略：经验风险最小化、结构风险最小化

经验风险最小化：经验风险最小，样本少时容易过拟合

结构风险最小化：在经验风险最小化的基础上，加了正则化

2.5 合页损失函数（Hinge Loss）

对于线性SVM来说，模型分类超平面为$w^{T}x+b=0$，决策函数为$f(x)=sign(w^{T}x+b)$，学习策略是软间隔最大化，学习算法是凸二次规划。

线性SVM还有另一种解释，最小化以下目标函数：

$$\underset{w,b}{\underbrace{\min }}\left({\left[\sum _{i=1}^{m}1-y_i(w^T{x}_i+b)\right]}_{+}+\lambda \Vert w{\Vert }^2\right)$$

目标函数第一项是经验损失或经验风险，

$L(y(w^{T}x+b))=[1-y(w^{T}x+b){]}_{+}$ 称为合页损失函数，$[z{]}_{+}=\{\begin{array}{ll}z& z>0\\ 0& z\le 0\end{array}$

• Hinge Loss：如果点被正确分类，且函数间隔大于1，损失是0，否则损失是 $1-y(w^{T}x+b)$
• 0-1损失：如果正确分类，损失是0，误分类损失1，可见0-1损失函数是不可导的。
• 感知机损失函数：$[-y(w^{T}x+b){]}_{+}$，正确分类时，损失是0，误分类时，损失是$-y(w^{T}x+b)$
• 逻辑回归、最大熵模型对应的对数损失，损失函数是 $log[1+exp(-y(w^{T}x+b))]$

3. 非线性SVM与核函数

3.1 核方法

• 核函数比SVM出现的早，被引入到SVM算法中
• 在低维线性不可分的数据，映射到高维后，变成线性可分的，再利用线性SVM方法
  $$h_{\theta }\left(x_1,x_2\right)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2+{\theta }_5{x}_1{x}_2$$

$$h_{\theta }\left(x_1,x_2\right)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+{\theta }_4{x}_4+{\theta }_5{x}_5$$

将一个只有两个特征的二阶多项式，转换成五元线性回归。

核函数表达式为：
$$K(x,x^{{}^{\prime }})=z^T{z}^{{}^{\prime }}=\Phi (x{)}^T\Phi (x^{{}^{\prime }})$$

核方法思想：将特征转换、内积运算这两个步骤合并起来，降低计算复杂度

二阶多项式转换的例子：

原始特征为：$x=(1,x_1,x_2,...,x_d)$

转换后的特征为：${\Phi }_2(\mathbf{x})=\left(1,x_1,x_2,\dots ,x_d,x_1^2,x_1{x}_2,\dots ,x_1{x}_d,x_2{x}_1,x_2^2,\dots ,x_2{x}_d,\dots ,x_d^2\right)$

核方法：
$$\begin{array}{rl}{\Phi }_2(x{)}^T{\Phi }_2\left(x^{\prime }\right)& =1+\sum _{i=1}^d{x}_i{x}_i^{\prime }+\sum _{i=1}^d\sum _{j=1}^d{x}_i{x}_j{x}_i^{\prime }{x}_j^{\prime }\\ & =1+\sum _{i=1}^d{x}_i{x}_i^{\prime }+\sum _{i=1}^d{x}_i{x}_i^{\prime }\sum _{j=1}^d{x}_j{x}_j^{\prime }\\ & =1+x^T{x}^{\prime }+\left(x^T{x}^{\prime }\right)\left(x^T{x}^{\prime }\right)\end{array}$$

3.2 几种核函数

（1）线性核函数：$K(x,x^{{}^{\prime }})=x^T{x}^{{}^{\prime }}$

（2）多项式核函数：$K(x,x^{{}^{\prime }})=(\gamma x^T{x}^{{}^{\prime }}+r{)}^d$

（3）高斯核函数（径向基核函数RBF）：$K(x,x^{{}^{\prime }})=e^{-\gamma ||x-x^{{}^{\prime }}|{|}^2}$

• 高斯核函数，特征转换后是无限多维的，展开 $\Phi (x)=e^{-x^2}\cdot \left(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}{x}^2,\cdots \right)$
• $\gamma >0$，$\gamma$ 越大，越容易过拟合

3.3 带核函数的软间隔SVM算法总结

（1）优化目标和约束条件：
$$\underset{\alpha }{\underbrace{\min }}\left(\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-\sum _{i=1}^m{\alpha }_i\right)$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C$$

（2）利用SMO算法求出 ${\alpha }^{\ast }$

（3）计算出 $w^{\ast }$，$w^{\ast }={\sum }_{i=1}^m{\alpha }_i^{\ast }{y}_i\Phi (x_i)$

（4）找出所有的S个支持向量，即 $0<{\alpha }_s<C$ 对应的样本$(x_s,y_s)$，通过$y_s\left({\sum }_{i=1}^m{\alpha }_i{y}_{i}K\left(x_i,x_s\right)+b\right)=1$计算出每个支持向量对应的$b_s^{\ast }$，求平均值，$b^{\ast }=\frac{1}{S}{\sum }_{i-1}^S{b}_s^{\ast }$

（5）分类超平面为：$w^{\ast }\Phi (x)+b^{\ast }=0$，分类决策函数为：$f(x)=sign(w^{\ast }\Phi (x)+b^{\ast })$

4. SVM的SMO算法原理

参考：http://www.cnblogs.com/pinard/p/6111471.html

4.1 优化目标函数

目标函数和约束条件：
$$\underset{\alpha }{\underbrace{\min }}\left(\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-\sum _{i=1}^m{\alpha }_i\right)$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C$$

我们的解要满足的KKT条件的对偶互补条件为：

$${\alpha }_i^{\ast }\left(y_i\left(w^T{x}_i+b\right)-1+{\xi }_i^{\ast }\right)=0$$

根据这个KKT条件的对偶互补条件，我们有：

$${\alpha }_i^{\ast }=0\Rightarrow y_i\left(w^{\ast }\bullet \varphi \left(x_i\right)+b\right)\ge 1$$

$$0<{\alpha }_i^{\ast }<C\Rightarrow y_i\left(w^{\ast }\bullet \varphi \left(x_i\right)+b\right)=1$$

$${\alpha }_i^{\ast }=C\Rightarrow y_i\left(w^{\ast }\bullet \varphi \left(x_i\right)+b\right)\le 1$$

即：
$${\alpha }_i^{\ast }=0\Rightarrow y_{i}g\left(x_i\right)\ge 1$$

$$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g\left(x_i\right)=1$$

$${\alpha }_i^{\ast }=C\Rightarrow y_{i}g\left(x_i\right)\le 1$$

4.2 SMO算法基本思想

• 上面这个优化式子比较复杂，由m个变量组成的 α 需要在目标函数极小化的时候求出。
• SMO算法采用一种启发式的方法，每次只优化两个变量，其他变量视为常数。
• 由于 ${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，假如将 ${\alpha }_3,{\alpha }_4,...,{\alpha }_m$ 固定，那么${\alpha }_1,{\alpha }_2$之间的关系也确定了。
• 这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题。

为了后面表示方便，定义 $K_{ij}=\varphi (x_j)\varphi (x_j)$

由于 ${\alpha }_3,...,{\alpha }_m$ 都成了常量，所有的常量都从目标函数去除，目标优化函数变为：

$$\underset{{\alpha }_1,{\alpha }_2}{\underbrace{\min }}\left(\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-\left({\alpha }_1+{\alpha }_2\right)+y_1{\alpha }_1\sum _{i=3}^m{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^m{y}_i{\alpha }_i{K}_{i2}\right)$$

$$s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^m{y}_i{\alpha }_i=\zeta$$

$$0\le {\alpha }_i\le Ci=1,2$$

具体的参考刘建平的博客

5. SVM的回归方法

5.1 SVM回归模型的损失函数度量

• 目标函数：与分类保持一致为 $\frac{1}{2}||w|{|}^2$
• 约束条件：不能是各个样本尽量远离自己类别的支持向量
• 模型的目标：各个点尽量拟合到线性模型 $y_i=w\bullet \varphi (x_i)+b$，不用均方差作为损失函数
• 损失度量：定义一个常量 $ϵ>0$，对于样本点$(x_i,y_i)$，如果$\left|y_i-w\bullet \varphi \left(x_i\right)-b\right|\le ϵ$，损失为0，如果$\left|y_i-w\bullet \varphi \left(x_i\right)-b\right|>ϵ$，则损失为 $\left|y_i-w\bullet \varphi \left(x_i\right)-b\right|-ϵ$，与均方差不同

如下图，蓝色条带内的点没有损失，外面点的损失为红线长度

SVM回归模型的损失函数度量为：
$$\mathrm{err}\left(x_i,y_i\right)=\{\begin{array}{ll}0& \left|y_i-w\bullet \varphi \left(x_i\right)-b\right|\le ϵ\\ \left|y_i-w\bullet \varphi \left(x_i\right)-b\right|-ϵ& \left|y_i-w\bullet \varphi \left(x_i\right)-b\right|>ϵ\end{array}$$

5.2 SVM回归模型的目标函数

目标函数：

$$\min \left(\frac{1}{2}\Vert w{\Vert }^{2}s.t.\left|y_i-w\bullet \varphi \left(x_i\right)-b\right|\le ϵ(i=1,2,\dots m)\right)$$

加入松弛变量 ${\xi }_i\ge 0$，由于这里是绝对值，实际上是两个不等式，也就是说两边都需要松弛变量，定义为 ${\xi }_i^{\vee },{\xi }_i^{\wedge }$

优化目标变为：
$$\min \left(\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m\left({\xi }_i^{\vee }+{\xi }_i^{\wedge }\right)\right)$$

$$s.t.-ϵ-{\xi }_i^{\vee }\le y_i-w\bullet \varphi \left(x_i\right)-b\le ϵ+{\xi }_i^{\wedge }$$

$${\xi }_i^{\vee }\ge 0,{\xi }_i^{\wedge }\ge 0(i=1,2,\dots ,m)$$

利用拉格朗日乘子法，转换成无约束的优化目标

$$L\left(w,b,{\alpha }^{\vee },{\alpha }^{\wedge },{\xi }_i^{\vee },{\xi }_i^{\wedge },{\mu }^{\vee },{\mu }^{\wedge }\right)=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m\left({\xi }_i^{\vee }+{\xi }_i^{\wedge }\right)+\sum _{i=1}^m{\alpha }^{\vee }\left(-ϵ-{\xi }_i^{\vee }-y_i+w\bullet \varphi \left(x_i\right)+b\right)+\sum _{i=1}^m{\alpha }^{\wedge }\left(y_i-w\bullet \varphi \left(x_i\right)-b-ϵ-{\xi }_i^{\wedge }\right)-\sum _{i=1}^m{\mu }^{\vee }{\xi }_i^{\vee }-\sum _{i=1}^m{\mu }^{\wedge }{\xi }_i^{\wedge }$$

其中 ${\mu }^{\vee }\ge 0,{\mu }^{\wedge }\ge 0,{\alpha }_i^{\vee }\ge 0,{\alpha }_i^{\wedge }\ge 0$，均为拉格朗日系数。

5.3 SVM回归模型的目标函数对偶优化

优化目标为：
$$\underset{w,b,{\xi }_i^{\vee },{\xi }_i^{\wedge }}{\underbrace{\min }}\left(\underset{{\mu }^{\vee }\ge 0,{\mu }^{\wedge }\ge 0,{\alpha }^{\vee }\ge 0,{\alpha }^{\wedge }\ge 0}{\underbrace{max}}L\left(w,b,{\alpha }^{\vee },{\alpha }^{\wedge },{\xi }_i^{\vee },{\xi }_i^{\wedge },{\mu }^{\vee },{\mu }^{\wedge }\right)\right)$$

优化目标满足KKT条件，通过拉格朗日对偶将优化问题，转化为等价的对偶问题：
$$\underset{{\mu }^{\vee }\ge 0,{\mu }^{\wedge }\ge 0,{\alpha }^{\vee }\ge 0,{\alpha }^{\wedge }\ge 0}{\underbrace{max}}\left(\underset{w,b,{\xi }_i^{\vee },{\xi }_i^{\wedge }}{\underbrace{\min }}L\left(w,b,{\alpha }^{\vee },{\alpha }^{\wedge },{\xi }_i^{\vee },{\xi }_i^{\wedge },{\mu }^{\vee },{\mu }^{\wedge }\right)\right)$$

我们可以先求优化函数对于 $w,b,{\xi }_i^{\vee },{\xi }_i^{\wedge }$ 的极小值, 接着再求拉格朗日乘子 ${\alpha }^{\vee },{\alpha }^{\wedge },{\mu }^{\vee },{\mu }^{\wedge }$ 的极大值

首先求优化函数对于 $w,b,{\xi }_i^{\vee },{\xi }_i^{\wedge }$ 的极小值，通过求偏导求得：
$$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m\left({\alpha }_i^{\wedge }-{\alpha }_i^{\vee }\right)\varphi \left(x_i\right)$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m\left({\alpha }_i^{\wedge }-{\alpha }_i^{\vee }\right)=0$$

$$\frac{\partial L}{\partial {\xi }_i^{\vee }}=0\Rightarrow C-{\alpha }^{\vee }-{\mu }^{\vee }=0$$

$$\frac{\partial L}{\partial {\xi }_i^{\wedge }}=0\Rightarrow C-{\alpha }^{\wedge }-{\mu }^{\wedge }=0$$

带入，优化目标变成：

$$\underset{{\alpha }^{\vee },{\alpha }^{\wedge }}{\underbrace{max}}\left(-\sum _{i=1}^m\left(ϵ-y_i\right){\alpha }_i^{\wedge }+\left(ϵ+y_i\right){\alpha }_i^{\vee })-\frac{1}{2}\sum _{i=1,j=1}^m\left({\alpha }_i^{\wedge }-{\alpha }_i^{\vee }\right)\left({\alpha }_j^{\wedge }-{\alpha }_j^{\vee }\right)K_{ij}\right)$$

$$s.t.\sum _{i=1}^m\left({\alpha }_i^{\wedge }-{\alpha }_i^{\vee }\right)=0$$

$$0<{\alpha }_i^{\vee }<C,0<{\alpha }_i^{\wedge }<C(i=1,2...,m)$$

对目标函数取负号，转换成极小值问题

$$\underset{{\alpha }^{\vee },{\alpha }^{\wedge }}{\underbrace{min}}\left(\sum _{i=1}^m\left(ϵ-y_i\right){\alpha }_i^{\wedge }+\left(ϵ+y_i\right){\alpha }_i^{\vee })+\frac{1}{2}\sum _{i=1,j=1}^m\left({\alpha }_i^{\wedge }-{\alpha }_i^{\vee }\right)\left({\alpha }_j^{\wedge }-{\alpha }_j^{\vee }\right)K_{ij}\right)$$

$$s.t.\sum _{i=1}^m\left({\alpha }_i^{\wedge }-{\alpha }_i^{\vee }\right)=0$$

$$0<{\alpha }_i^{\vee }<C,0<{\alpha }_i^{\wedge }<C(i=1,2...,m)$$

通过SMO算法，求出 ${\alpha }^{\vee },{\alpha }^{\wedge }$，从而求出回归模型系数 $w,b$

5.4 SVM回归模型系数的稀疏性

分类问题，KKT条件的对偶互补条件为：
$${\alpha }_i^{\ast }\left(y_i\left(w\bullet \varphi \left(x_i\right)+b\right)-1+{\xi }_i^{\ast }\right)=0$$

回归问题，KKT条件的对偶互补条件为：
$${\alpha }_i^{\vee }\left(ϵ+{\xi }_i^{\vee }+y_i-w\bullet \varphi \left(x_i\right)-b\right)=0$$

$${\alpha }_i^{\wedge }\left(ϵ+{\xi }_i^{\vee }-y_i+w\bullet \varphi \left(x_i\right)-b\right)=0$$

• 根据松弛变量定义的条件，如果 $\left|y_i-w\bullet \varphi \left(x_i\right)-b\right|<ϵ$，则有 ${\xi }_i^{\vee }=0,{\xi }_i^{\wedge }=0$

• 此时，$ϵ+{\xi }_i^{\vee }+y_i-w\bullet \varphi \left(x_i\right)-b̸=0$，$ϵ+{\xi }_i^{\wedge }-y_i+w\bullet \varphi \left(x_i\right)+b̸=0$，这样要满足对偶互补条件，只有 ${\alpha }_i^{\vee }=0,{\alpha }_i^{\wedge }=0$（不等号显示异常）

• 定义样本系数为：${\beta }_i={\alpha }_i^{\wedge }-{\alpha }_i^{\vee }$

根据 $w={\sum }_{i=1}^m\left({\alpha }_i^{\wedge }-{\alpha }_i^{\vee }\right)\varphi \left(x_i\right)$，发现此时 ${\beta }_i=0$，也就是说 $w$ 不受这些在误差范围内的点的影响。

对于在边界上或边界外的点，${\alpha }_i^{\vee },{\alpha }_{\hat{i}}^{\wedge }$ 都不等于0，此时${\beta }_i$也不等于0

6. sklearn.svm.SVC & sklearn.svm.SVR

6.1 sklearn.svm.SVC

class sklearn.svm.SVC(C=1.0, kernel=’rbf’, degree=3, gamma=’auto_deprecated’, coef0=0.0, shrinking=True, 
probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, 
decision_function_shape=’ovr’, random_state=None)¶

• C：惩罚系数，通过交叉验证选择
• kernel：核函数，一般选径向基rbf
• degree：多项式核函数的参数 d，一般交叉验证选择合适的 $\gamma ,r,d$
• gamma：多项式、径向基、sigmoid核函数都有这个参数，交叉验证
• coef0：多项式核函数参数 r
• cache_size：缓存大小会影响训练速度，默认200，即200M
• class_weight：类别权重，可以指定各个样本的权重
• decision_function_shape：ovr 无论多少类别，都看成二分类，ovo每次选出两个类别进行二分类，要进行(k-1)k/2次，k为类别数

6.2 sklearn.svm.SVR

class sklearn.svm.SVR(kernel=’rbf’, degree=3, gamma=’auto_deprecated’, coef0=0.0, tol=0.001, 
C=1.0, epsilon=0.1, shrinking=True, cache_size=200, verbose=False, max_iter=-1)

• epsilon：距离误差，控制损失值

参考博客
1. 支持向量机原理(一) 线性支持向量机
2. 支持向量机原理(二) 线性支持向量机的软间隔最大化模型
3. 损失函数及经验风险和结构风险
4. 机器学习总结（lecture 10）算法：支持向量机SVM
5. 支持向量机原理(四) SMO算法原理
6. 支持向量机原理(五)线性支持回归