SVM 支持向量机 算法

直观解释

SVM，Support Vector Machine，它是一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

这里涉及了几个概念，二分类模型，线性分类器，间隔最大化，凸二次规划问题。

• 二分类模型：给定的各个样本数据分别属于两个类之一，而目标是确定新数据点将归属到哪个类中。
• 线性分类器：分割样本点的分类器是一个超平面，这也就要求样本线性可分，这是hard-margin SVM的要求，对于后来的soft-margin SVM，放低为近似线性可分，再到后来的核技巧，要求映射到高维空间后要近似线性可分。
• 线性可分：$D0$和$D1$是$n$维欧氏空间中的两个点集（点的集合）。如果存在 $n$维向量 $w$和实数$b$，使得所有属于$D0$的点 xi 都有 $w{x}_i+b>0$，而对于所有属于$D1$的点 $x_j$则有 $w{x}_j+b<0$。则我们称$D0$和$D1$线性可分。
• 间隔最大化：首先要知道SVM中有函数间隔和几何间隔，函数间隔刻画样本点到超平面的相对距离，几何间隔刻画的是样本点到超平面的绝对距离，SVM的直观目的就是找到最小函数距离的样本点，然后最大化它的几何间隔。
• 凸二次规划：目标函数是二次的，约束条件是线性的。

核心公式

• 线性可分训练集： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x n , y n ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{n}, y_{n}\right)\right\} T={(x1​,y1​),(x2​,y2​),…,(xn​,yn​)}
• 学习得到的超平面：$w^{\ast T}x+b^{\ast }=0$
• 相应的分类决策函数：$f(x)=\mathrm{sign}\left(w^{\ast T}x+b^{\ast }\right)$
• SVM基本思想：间隔最大化，不仅要讲正负类样本分开，而且对最难分的点（离超平面最近的点）也要有足够大的确信度将他们分开。

函数间隔

给定一个超平面$（w,b）$，定义该超平面关于样本点 $(x_i,y_i)$ 的函数间隔为：${\hat{\gamma }}_i=y_i\left(w^T{x}_i+b\right)$
定义该超平面关于训练集$T$的函数间隔为：$\hat{\gamma }={\min }_{i=1,2,\dots ,N}{\hat{\gamma }}_i$

几何间隔

给定一个超平面$（w,b）$，定义该超平面关于样本点 $(x_i,y_i)$ 的几何间隔为：${\gamma }_i=y_i\left(\frac{w^T}{\Vert w\Vert }{x}_i+\frac{b}{\Vert w\Vert }\right)$
定义该超平面关于训练集$T$的几何间隔为：$\gamma ={\min }_{i=1,2,\dots ,N}{\gamma }_i$

函数间隔与几何间隔的关系

$\begin{array}{c}{\gamma }_i=\frac{{\hat{\gamma }}_i}{\Vert w\Vert },i=1,2,\dots ,N\\ \gamma =\frac{\hat{\gamma }}{\Vert w\Vert }\end{array}$

注意要点第一点

函数间隔是相对距离，几何间隔是绝对距离，也就是说，一个点$x_1$离分割平面的函数距离可以是0.5，1，2，4，$x_2$离分割平面的函数距离是1，2，4，8，而$x_1$的几何距离只能是1，$x_2$的几何距离只能是2，所以说整个hard-margin SVM的思想就是找到最小的函数间隔，也就是离分割平面最近的点，然后最大化它到分割平面的绝对距离。
如果超平面参数w和b成比例地改变（此时超平面没有改变），则函数间隔也按此比例改变，而几何间隔不变。故我们可以用几何间隔来度量我们是否对样本点正确分类以及样本点里超平面的距离，借此将SVM的基本思想形式化为某个最优化问题。

将其形式化：求得一个几何间隔最大的分离超平面，可以表示为如下的最优化问题：
$\begin{array}{c}{\max }_{w,b}\gamma \\ \text{s.t.}{y}_i\left(\frac{w^T}{\Vert w\Vert }{x}_i+\frac{b}{\Vert w\Vert }\right)\ge \gamma ,i=1,2,\dots ,N\end{array}$

即我们希望最大化超平面关于训练数据集的几何间隔?， 约束条件表示的是超平面关于每个训练样本点的几何间隔至少是?。

考虑函数间隔与几何间隔的关系式，改写为：

$\begin{array}{c}{\max }_{w,b}\frac{\hat{\gamma }}{\Vert w\Vert }\\ \text{s.t. }{y}_i\left(w^T{x}_i+b\right)\ge \hat{\gamma },i=1,2,\dots ,N\end{array}$

函数间隔? ̂的取值不影响最优化问题的解。因为若超平面参数w和b成比例地改变（此时超平面没有改变），则函数间隔? ̂也按此比例改变。故我们可以固定住函数间隔? ̂为1。可得到最优化问题：

$\begin{array}{c}{\max }_{w,b}\frac{1}{\Vert w\Vert }\\ \text{s.t. }1-y_i\left(w^T{x}_i+b\right)\le 0,i=1,2,\dots ,N\end{array}$

注意到最大化$\frac{1}{\Vert w\Vert }$ 和最小化$\frac{1}{2}\Vert w{\Vert }^2$是等价的，故最优化问题可转化为：

$\begin{array}{c}{\min }_{w,b}\frac{1}{2}\Vert w{\Vert }^2\\ \text{s.t. }1-y_i\left(w^T{x}_i+b\right)\le 0,i=1,2,\dots ,N\end{array}$

构造Lagrange函数：
$\begin{array}{rl}L(w,b,\alpha )=& \frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^N{\alpha }_i\left[1-y_i\left(w^T{x}_i+b\right)\right]\\ {\alpha }_i& \ge 0,i=1,2,\dots ,N\end{array}$

令${\theta }_{\alpha }(w,b)={\max }_{{\alpha }_i\ge 0}L(w,b,\alpha )$

则有${\theta }_{\alpha }(w,b)=\{\begin{array}{c}\frac{1}{2}\Vert w{\Vert }^2,当全部约束满足\\ +\infty ，当存在约束不满足\end{array}$

故原问题等价于
${\min }_{w,b}{\theta }_{\alpha }(w,b)={\min }_{w,b}{\max }_{{\alpha }_i\ge 0}L(w,b,\alpha )$

注意要点第二点
如果不满足约束条件,$\theta (w)={\max }_{{\alpha }_i\ge 0}\mathcal{L}(w,b,\alpha )$就会趋向于无穷大，自然${\min }_{w,b}\theta (w)$也不会有解，相反如果${\min }_{w,b}\theta (w)$有解，说明约束条件必满足，因此原问题等价于${\min }_{w,b}{\theta }_{\alpha }(w,b)={\min }_{w,b}{\max }_{{\alpha }_i\ge 0}L(w,b,\alpha )$

根据拉格朗日对偶性，上式的对偶问题为：
${\min }_{w,b}{\theta }_{\alpha }(w,b)={\max }_{{\alpha }_i\ge 0}{\min }_{w,b}L(w,b,\alpha )$

又由于原问题满足Slater Condition，这里不用深究什么是Slater 定理，感兴趣的可以在wiki在搜索了解，默认一般我们处理的问题这个定理能成立就可以了，故原问题与对偶问题的最优值相等，在李航老师的《统计学习方法》中，提到假设目标函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，关于仿射函数，只要理解成线性函数就可以了，这个条件的作用是最优解唯一，不会存在鞍点的情况使得原问题和对偶问题的解不唯一，同时满足这些个条件的解还满足KKT条件 ，而且是充要条件。这样利用KKT条件求解对偶问题的解，即相当于求解出了原问题。为了得到对偶问题的解，需要先求 ?(?,?,?)对?,?的极小，再求对?的极大。

求${\min }_{w,b}L(w,b,\alpha )$
将拉格朗日函数?(?,?,?)分别对?,?求偏导并令其等于0，可得

${\nabla }_{w}L(w,b,\alpha )=w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0$

${\nabla }_{b}L(w,b,\alpha )=-{\sum }_{i=1}^N{\alpha }_i{y}_i=0$

得

$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$

${\sum }_{i=1}^N{\alpha }_i{y}_i=0$

将以上两式代入?(?,?,?)中消去?,?，得
$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\Vert w{\Vert }^2+\sum _{\mathrm{i}=1}^N{\alpha }_i\left[1-y_i\left(w^T{x}_i+b\right)\right]\\ & =\frac{1}{2}{w}^{T}w+\sum _{i=1}{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^N{\alpha }_i{y}_{i}b\\ & =\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\alpha }_i-w^{T}w\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩+\sum _{i=1}^{\mathrm{N}}{\alpha }_i\end{array}$

注意要点第三点
$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-{\sum }_{i=1}^n{\alpha }_i\left(y_i\left(w^T{x}_i+b\right)-1\right)$

$=\frac{1}{2}{w}^{T}w-{\sum }_{i=1}^n{\alpha }_i{y}_i{w}^T{x}_i-{\sum }_{i=1}^n{\alpha }_i{y}_{i}b+{\sum }_{i=1}^n{\alpha }_i$

$=\frac{1}{2}{w}^T{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i-{\sum }_{i=1}^n{\alpha }_i{y}_i{w}^T{x}_i-{\sum }_{i=1}^n{\alpha }_i{y}_{i}b+{\sum }_{i=1}^n{\alpha }_i$

$=\frac{1}{2}{w}^T{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i-w^T{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i-{\sum }_{i=1}^n{\alpha }_i{y}_{i}b+{\sum }_{i=1}^n{\alpha }_i$

$=-\frac{1}{2}{w}^T{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i-{\sum }_{i=1}^n{\alpha }_i{y}_{i}b+{\sum }_{i=1}^n{\alpha }_i$

$=-\frac{1}{2}{w}^T{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i-b{\sum }_{i=1}^n{\alpha }_i{y}_i+{\sum }_{i=1}^n{\alpha }_i$

$=-\frac{1}{2}{\left({\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i\right)}^T{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i-b{\sum }_{i=1}^n{\alpha }_i{y}_i+{\sum }_{i=1}^n{\alpha }_i$

$=-\frac{1}{2}{\sum }_{i=1}^n{\alpha }_i{y}_i{\left(x_i\right)}^T{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i-b{\sum }_{i=1}^n{\alpha }_i{y}_i+{\sum }_{i=1}^n{\alpha }_i$

$=-\frac{1}{2}{\sum }_{i,j=1}^n{\alpha }_i{y}_i{\left(x_i\right)}^T{\alpha }_j{y}_j{x}_j-b{\sum }_{i=1}^n{\alpha }_i{y}_i+{\sum }_{i=1}^n{\alpha }_i$

$\mathcal{L}(w,b,\alpha )=\frac{1}{2}{\sum }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j^T-{\sum }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-b{\sum }_{i=1}^n{\alpha }_i{y}_i+{\sum }_{i=1}^n{\alpha }_i$

$={\sum }_{i=1}^n{\alpha }_i-\frac{1}{2}{\sum }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

即
${\min }_{w,b}L(w,b,\alpha )=-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩+{\sum }_{i=1}^{\mathrm{N}}{\alpha }_i$

再${\min }_{w,b}L(w,b,\alpha )$求对?的极大，即是对偶问题

$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩+\sum _{i=1}^{\mathrm{N}}{\alpha }_i\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i& \ge 0,i=1,2,\dots ,N\end{array}$

将极大改为极小，得

${\min }_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩-{\sum }_{i=1}^{\mathrm{N}}{\alpha }_i$

${\sum }_{i=1}^N{\alpha }_i{y}_i=0$

${\alpha }_i\ge 0,i=1,2,\dots ,N$

原问题的对偶问题：
$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩-\sum _{i=1}^{\mathrm{N}}{\alpha }_i\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\dots ,N\end{array}$

求解方法：
（1）由于该问题为凸优化问题，故可直接求解。
（2）由于该问题与其原问题等价，其原问题满足Slater定理，故该问题的解与KKT条件为充分必要的关系，故只需找到一组解满足KKT条件，即找到了问题的解（充分性）。

关于对偶问题的解${\alpha }^{\ast }=\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast }\right)$，是由SMO算法解出来的，这个结合加入松弛变量的情况再讲。

解出对偶问题的解${\alpha }^{\ast }=\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast }\right)$后，怎么求原问题的解$w^{\ast },b^{\ast }$？

由KKT条件可知，原问题和对偶问题均取到最优值的解$\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)$需满足以下四个要求：

1. 对原始变量梯度为0：
   ${\nabla }_{w}L\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)=w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$
   ${\nabla }_{b}L\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)=-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i=0$
2. 原问题可行：
   $1-y_i\left(w^{\ast T}{x}_i+b^{\ast }\right)\le 0,i=1,2,\dots ,N$
3. 不等式约束乘子非负:
   ${\alpha }_i^{\ast }\ge 0,i=1,2,\dots ,N$
4. 对偶互补松弛：
   ${\alpha }_i^{\ast }\left[1-y_i\left(w^{\ast T}{x}_i+b^{\ast }\right)\right]=0,i=1,2,\dots ,N$

由于1中
${\nabla }_{w}L\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)=w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$

得到
$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
这样$w^{\ast }$就求出来了

用反证法我们可以得到至少有一个${\alpha }_i^{\ast }>0$，假设所有的${\alpha }_i^{\ast }=0$，由$w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$知道，$w^{\ast }=0$，而$w^{\ast }=0$显然不是原问题的解，我们要零解一点意义都没有。

接下来，求$b^{\ast }$
取${\alpha }_i^{\ast }$ 的一个分量满足${\alpha }_i^{\ast }>0$ ，则有对应的由4中的 ${\alpha }_i^{\ast }\left[1-y_i\left(w^{\ast T}{x}_i+b^{\ast }\right)\right]=0,i=1,2,\dots ,N$，有$1-y_j\left(w^{\ast T}{x}_j+b^{\ast }\right)=0$

代入$w^{\ast }$和样本点$(x_j,y_j)$，求出
$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i⟨x_i,x_j⟩$

这样超平面的两个参数$(w^{\ast },b^{\ast })$就都求出来了
$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i⟨x_i,x_j⟩$

至于为什么SVM叫支持向量机，因为我们发现只有${\alpha }_i^{\ast }>0$时，对应的样本$(x_i,y_i)$才会对最终超平面的结果产生影响，此时$1-y_i\left(w^{\ast T}{x}_i+b^{\ast }\right)=0$， 也就是函数间隔为1，我们称这类样本为支持向量，所以这个模型被叫做支持向量机。支持向量的个数一般很少，所以支持向量机只有很少的“重要的”训练样本决定。

如果数据线性不可分，但是近似线性可分，我们需要给超平面犯错的机会，但是犯错不能无休止地犯错，我们只允许它们在一定的误差范围内误判样本点，这就是所谓的软间隔 soft-margin SVM.

我们对每个样本点$(x_i,y_i)$引入一个松弛变量${\xi }_i>0$，使函数间隔加上松弛变量大于等于1。

与此同时，我们的目标函数，也就是我们的Loss，也要对这种误判的可能增加代价项，对每个松弛变量${\xi }_i$，支付一个代价${\xi }_i$ (why?因为本身${\xi }_i$越大，分类器就越糟糕，所以Loss就应该越大，所以是合理的)

因此目标函数变为：$\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i$
其中$C>0$为惩罚参数

和hard-margin一样，它的最优化问题是

${\min }_{w,b,\xi }\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i$

$s.t.y_i\left(w^T{x}_i+b\right)\ge 1-{\xi }_i,i=1,2,\dots ,N$

${\xi }_i\ge 0,i=1,2,\dots ,N$

同样满足Slater Condition，同样利用拉格朗日乘子法求出其对偶问题。

构造拉格朗日函数:
$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i+{\sum }_{i=1}^N{\alpha }_i\left[1-{\xi }_i-y_i\left(w^T{x}_i+b\right)\right]+{\sum }_{i=1}^N{\mu }_i\left(-{\xi }_i\right)$
其中$\alpha$、$\mu$为拉格朗日乘子，$\alpha \ge 0,\mu \ge 0$。

同理和soft-margin一样，为了求出使$L$最小的$w、b$和$\xi$，分别对它们求导

$\frac{\partial L}{\partial w}=0\Rightarrow w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i$

$\frac{\partial L}{\partial b}=0\Rightarrow {\sum }_{i=1}^n{\alpha }_i{y}_i=0$

$\frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C-{\alpha }_i-r_i=0,i=1,\dots ,n$

注意到，$r_i\ge 0$和$C-{\alpha }_i-r_i=0$，可以推出${\alpha }_i\le C$，所以对偶问题就变成：

${\max }_{\alpha }{\sum }_{i=1}^n{\alpha }_i-\frac{1}{2}{\sum }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

s.t.$\begin{array}{l}0\le {\alpha }_i\le C,i=1,\dots ,n\\ {\sum }_{i=1}^n{\alpha }_i{y}_i=0\end{array}$

$x_i^T{x}_j$和之前写成内积的形式是一样的

求解方法：
（1）由于该问题为凸优化问题，故可直接求解
（2）由于该问题与其原问题等价，其原问题满足Slater定理，故该问题的解与KKT条件为充分必要的关系，故只需找到一组解满足KKT条件，即找到了问题的解（充分性）。

解出对偶问题的解${\alpha }^{\ast }=\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_{\mathrm{N}}^{\ast }\right)$后，怎么求原问题的解${\mathrm{w}}^{\ast },{\mathrm{b}}^{\ast }$?

同样利用KKT条件即可
① 对原始变量梯度为0：
${\nabla }_{w}L\left(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast }\right)=w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$
${\nabla }_{b}L\left(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast }\right)=-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i=0$
${\nabla }_{\xi }L\left(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast }\right)=C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0$
② 原问题可行：
$1-{\xi }_i^{\ast }-y_i\left(w^T{x}_i+b\right)\le 0,i=1,2,\dots ,N$
$-{\xi }_i^{\ast }\le 0,i=1,2,\dots ,N$
③ 不等式约束乘子非负：
$\begin{array}{rl}{\alpha }_i^{\ast }& \ge 0,i=1,2,\dots ,N\\ {\mu }_i^{\ast }& \ge 0,i=1,2,\dots ,N\end{array}$
④ 对偶互补松弛：
$\begin{array}{c}{\alpha }_i^{\ast }\left[1-{\xi }_i^{\ast }-y_i\left(w^T{x}_i+b\right)\right]=0,i=1,2,\dots ,N\\ {\mu }_i^{\ast }{\xi }_i^{\ast }=0,i=1,2,\dots ,N\end{array}$

综上
$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
取${\alpha }^{\ast }$的一个分量满足$0<{\alpha }^{\ast }<C$，则有对应的
${\xi }_j^{\ast }=0$
$1-y_j\left(w^{\ast T}{x}_j+b^{\ast }\right)=0$

代入$w^{\ast }$和样本点$(x_j,y_j)$，求出
$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i⟨x_i,x_j⟩$

关于支持向量
从上面的KKT条件我们选取这几个：
$\begin{array}{c}0\le {\alpha }_i\le C,i=1,2,\dots ,N\\ {\alpha }_i^{\ast }\left[1-{\xi }_i^{\ast }-y_i\left(w^T{x}_i+b\right)\right]=0,i=1,2,\dots ,N\\ C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0\\ {\mu }_i^{\ast }{\xi }_i^{\ast }=0,i=1,2,\dots ,N\end{array}$

(1) 当$0<{\alpha }^{\ast }<C$时，有${\mu }_i^{\ast }>0$，${\xi }_i^{\ast }=0$，则$y_i\left(w^T{x}_i+b\right)=1$，此时支持向量恰好落在间隔边界上；
(2)当${\alpha }^{\ast }=C$时，有${\mu }^{\ast }=0$，此时：
① 当$0<{\xi }_i^{\ast }<1$时，$0<y_i\left(w^T{x}_i+b\right)<1$，支持向量在间隔边界与超平面之间；
② 当${\xi }_i^{\ast }=1$时，$y_i\left(w^T{x}_i+b\right)=0$，支持向量在超平面上；
③ 当${\xi }_i^{\ast }>1$时，$y_i\left(w^T{x}_i+b\right)<0$，支持向量在误分一测。
(3))当${\alpha }^{\ast }=0$时，无法判断。

实际上线性SVM也可以通过梯度下降法去求解
$\begin{array}{c}{\min }_{w,b,\xi }\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_{\mathrm{i}}\\ \text{s.t. }{y}_i\left(w^T{x}_i+b\right)\ge 1-{\xi }_i,i=1,2,\dots ,N\\ {\xi }_i\ge 0,i=1,2,..,N\end{array}$
等价于最优化问题：
${\min }_{w,b}{\sum }_{i=1}^N\max \left(0,1-y_i\left(w^T{x}_i+b\right)\right)+\lambda \Vert w{\Vert }^2$
只要把$max\left(0,1-y_i\left(w^T{x}_i+b\right)\right)={\xi }_i$，它就满足约束条件，再让$\lambda =\frac{1}{2C}$即可，具体证明在《统计学习方法》定理7.4

SMO算法

回顾上面soft-margin 我们怎么算$\alpha$
$\begin{array}{c}{\min }_{\alpha }\Psi (\vec{\alpha })={\min }_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{y}_i{y}_{j}K\left({\vec{x}}_i,{\vec{x}}_j\right){\alpha }_i{\alpha }_j-{\sum }_{i=1}^N{\alpha }_i\\ 0\le {\alpha }_i\le C,\forall i\\ {\sum }_{i=1}^N{y}_i{\alpha }_i=0\end{array}$

我们要解决的问题是：在 α i = { α 1 , α 2 , α 3 , … , α n } \alpha_{i}=\left\{\alpha_{1}, \alpha_{2}, \alpha_{3}, \dots, \alpha_{n}\right\} αi​={α1​,α2​,α3​,…,αn​}上求上述目标函数的最小值。为了求解这些乘子，每次从中任意抽取两个乘子${\alpha }_1$和${\alpha }_2$，然后固定${\alpha }_1$ 和${\alpha }_2$ 以外的其它乘子 { α 3 , … , α n } \left\{\alpha_{3}, \dots, \alpha_{n}\right\} {α3​,…,αn​}，使得目标函数只是关于${\alpha }_1$和${\alpha }_2$ 的函数。这样，不断的从一堆乘子中任意抽取两个求解，不断的迭代求解子问题，最终达到求解原问题的目的。

注意到$y_i$只有-1、+1，故有$y_i^2=1$
$\min \Psi \left({\alpha }_1,{\alpha }_2\right)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-\left({\alpha }_1+{\alpha }_2\right)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2+constant$
$v_i={\sum }_{j=3}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right),i=1,2$

对于之前的约束${\sum }_{i=1}^N{y}_i{\alpha }_i=0$
令${\alpha }_1{y}_1+{\alpha }_2{y}_2=-{\sum }_{i=3}^N{\alpha }_i{y}_i=\zeta$
有${\alpha }_1{y}_1^2+{\alpha }_2{y}_2{y}_1=-y_1{\sum }_{i=3}^N{\alpha }_i{y}_i=y_1\zeta$
所以
${\alpha }_1=\left(\zeta -y_2{\alpha }_2\right)y_1$
代回目标函数
$\min \Psi \left({\alpha }_1,{\alpha }_2\right)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-\left({\alpha }_1+{\alpha }_2\right)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2+constant$
因为Constant不影响目标函数的优化可以去掉
得到
$\min \Psi \left({\alpha }_2\right)=\frac{1}{2}{K}_{11}{\left(\zeta -{\alpha }_2{y}_2\right)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}\left(\zeta -{\alpha }_2{y}_2\right){\alpha }_2-\left(\zeta -{\alpha }_2{y}_2\right)y_1-{\alpha }_2+v_1\left(\zeta -{\alpha }_2{y}_2\right)+y_2{v}_2{\alpha }_2$
对${\alpha }_2$求偏导，且令为0，求取得极小值是${\alpha }_2$的值：
$\frac{\partial \Psi \left({\alpha }_2\right)}{\partial {\alpha }_2}=\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0$

由上式中假设求得了${\alpha }_2$的解，代回${\alpha }_1=\left(\zeta -y_2{\alpha }_2\right)y_1$中求得${\alpha }_1$的解，分别记为${\alpha }_1^{new},{\alpha }_2^{new}$，优化前的解记为${\alpha }_1^{old},{\alpha }_2^{old}$，由于参数${\alpha }_3,{\alpha }_4,\dots ,{\alpha }_N$固定，由于等式约束${\sum }_{i=1}^N{y}_i{\alpha }_i=0$，有${\alpha }_1^{\text{ old }}{y}_1+{\alpha }_2^{\text{ old }}{y}_2=-{\sum }_{i=3}^N{\alpha }_i{y}_i={\alpha }_1^{\text{ new }}{y}_1+{\alpha }_2^{\text{ new }}{y}_2=\zeta$
于是
$\zeta ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$

在上面我们已经推到了
$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
由于当前的${\alpha }_i$并不最优解${\alpha }^{\ast }$
所以当前轮次的超平面$f(x)=w^{T}x+b$，可以写成$f(x)={\sum }_{i=1}^N{\alpha }_i{y}_{i}K\left(x_i,x\right)+b$
$f\left(x_i\right)$ 表示样本$x_i$的预测值,$y_i$表示样本$x_i$的真实值，定义$E_i$表示预测值与真实值之差为:
$E_i=f\left(x_i\right)-y_i$

由于$v_i={\sum }_{j=3}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right),i=1,2$
所以有
$v_1=f\left(x_1\right)-{\sum }_{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b$

$v_2=f\left(x_2\right)-{\sum }_{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b$

把$\zeta ,v_1,v_2$代入
$\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0$

这时求出来的${\alpha }_2^{new}$未考虑约束问题，记为${\alpha }_2^{new,unclipped}$
化简得
$\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{new,unclipped}=\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{\text{ old }}+y_2\left[y_2-y_1+f\left(x_1\right)-f\left(x_2\right)\right]$
记$\eta =K_{11}+K_{22}-2K_{12}$
则有
${\alpha }_2^{new,unclipped}={\alpha }_2^{old}+\frac{y_2\left(E_1-E_2\right)}{\eta }$

现在考虑带上约束条件
$\begin{array}{l}0\le {\alpha }_{i=1,2}\le C\\ {\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta \end{array}$

这里$k$相当于$\zeta$，因为$y_i,i=1,2$只有$+,1-1$两种选择
最优解必须要在方框内且在直线上取得，因此$L\le {\alpha }_2^{new}\le H$
当$y_1̸=y_2$时，$L=\max \left(0,{\alpha }_2^{old}-{\alpha }_1^{old}\right);H=\min \left(C,C+{\alpha }_2^{old}-{\alpha }_1^{old}\right)$
当$y_1=y_2$时，$L=\max \left(0,{\alpha }_1^{old}+{\alpha }_2^{old}-C\right);H=\min \left(C,{\alpha }_2^{old}+{\alpha }_1^{old}\right)$
综上
${\alpha }_2^{\text{ new }}=\{\begin{array}{c}\mathrm{H},{\alpha }_2^{\text{ new, unclipped }}>H\\ {\alpha }_2^{\text{ new, unclipped }},L⩽{\alpha }_2^{\text{ new, unclipped }}⩽H\\ \mathrm{L},{\alpha }_2^{\text{ new, unclipped }}<L\end{array}$

由${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2=\zeta ={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2$

${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2\left({\alpha }_2^{old}-{\alpha }_2^{new}\right)$

关于临界情况请看https://blog.youkuaiyun.com/luoshixian099/article/details/51227754#commentBox

如何选择变量${\alpha }_1,{\alpha }_2$
SMO是一种启发式算法，如果所有变量的解都满足KKT条件，那么它们就是最优解了，所以SMO算法在每个子问题中选择两个要优化的变量，其中至少一个是违反KKT条件的。

SMO称选择第一个变量的过程为外层循环，外层循环在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第一个变量，具体地，检验训练样本点$(x_i,y_i)$是否满足KKT条件，即
${\alpha }_i=0\iff y_{i}g\left(x_i\right)⩾1$
$0<{\alpha }_i<C\iff y_{i}g\left(x_i\right)=1$
${\alpha }_i=C\iff y_{i}g\left(x_i\right)⩽1$

其中，$g\left(x_i\right)={\sum }_{j=1}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right)+b$
该检验在$ϵ$范围内进行，外层循环先遍历所有满足条件的$0<{\alpha }_i<C$样本点，即在间隔边界上的支持向量点，检验是否满足KKT条件。如果这些样本点都满足KKT条件，那么遍历整个训练集，检验它们是否满足KKT条件。

第二个变量的选择是希望能使${\alpha }_2$由足够大的变化。
${\alpha }_2^{new}$是依赖于$\left|E_1-E_2\right|$的，一般是通过内层循环选择使$\left|E_1-E_2\right|$最大的${\alpha }_2$
在特殊情况下，如果内层循环选择的${\alpha }_2$不能使目标函数有足够的下降，那么就遍历在间隔边界上的支持向量点，依次作为${\alpha }_2$试用，直到目标函数有足够的下降，如果还是找不到，就遍历整个训练集，依然找不到就放弃这个${\alpha }_1$，通过外层循环寻找另外的${\alpha }_1$

在每次完成两个变量的优化后，都要重新计算阈值$b$,
如果$0<{\alpha }_1^{new}<C$，由KKT条件$y_1\left(w^T{x}_1+b\right)=1$，有${\sum }_{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$可得
$b_1^{new}=y_1-{\sum }_{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$

由$y_1-{\sum }_{i=3}^N{\alpha }_i{y}_i{K}_{i1}=-E_1+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{11}+b^{old}$

得到
$b_1^{new}=-E_1-y_1{K}_{11}\left({\alpha }_1^{new}-{\alpha }_1^{ad}\right)-y_2{K}_{21}\left({\alpha }_2^{new}-{\alpha }_2^{old}\right)+b^{old}$

同样，如果$0<{\alpha }_2^{new}<C$，则有
$b_2^{new}=-E_2-y_1{K}_{12}\left({\alpha }_1^{new}-{\alpha }_1^{old}\right)-y_2{K}_{22}\left({\alpha }_2^{new}-{\alpha }_2^{old}\right)+b^{old}$

如果同时满足$0<{\alpha }_i^{new}<C,i=1,2$，则$b_1^{new}=b_2^{new}$

如果${\alpha }_1^{new},{\alpha }_2^{new}$是0或者$C$，那么$b_1^{new},b_2^{new}$以及它们之间的数都满足KKT阈值条件，这时选择它们的中点。

核技巧
基本思想：找一个映射Φ（一般为高维映射），将样本点特征?映射到新的特征空间Φ(?)，使其在新的特征空间中线性可分（或近似线性可分），然后利用之前的SVM算法在新的特征空间中对样本进行分类。

流程：
输入训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x n , y n ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{n}, y_{n}\right)\right\} T={(x1​,y1​),(x2​,y2​),…,(xn​,yn​)}其中 x i ∈ R n , y i ∈ { − 1 , + 1 } x_{i} \in R^{n}, y_{i} \in\{-1,+1\} xi​∈Rn,yi​∈{−1,+1}
（1）选择合适的映射函数Φ，将训练集?映射为
T = { ( Φ ( x 1 ) , y 1 ) , ( Φ ( x 2 ) , y 2 ) , … , ( Φ ( x n ) , y n ) } T=\left\{\left(\Phi\left(x_{1}\right), y_{1}\right),\left(\Phi\left(x_{2}\right), y_{2}\right), \ldots,\left(\Phi\left(x_{n}\right), y_{n}\right)\right\} T={(Φ(x1​),y1​),(Φ(x2​),y2​),…,(Φ(xn​),yn​)}
（2）选择惩罚参数C，构造并求解约束最优化问题（原问题的对偶问题）
${\min }_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j⟨\Phi \left(x_i\right),\Phi \left(x_j\right)⟩-{\sum }_{i=1}^{\mathrm{N}}{\alpha }_i$
$\begin{array}{rl}\text{ s.t. }& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,N\end{array}$
求得最优解${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast }\right)}^T$
（3）计算$W^{\ast },b^{\ast }$:
$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i\Phi \left(x_i\right)$
选择$a^{\ast }$的一个分量满足$0<{\alpha }_i^{\ast }<C$，计算
$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i⟨\Phi \left(x_i\right),\Phi \left(x_j\right)⟩$
（4）求得分离超平面和分类决策函数：
$w^{\ast T}\Phi (x)+b^{\ast }=0$
$f(x)=\mathrm{sign}\left(w^{\ast T}\Phi (x)+b^{\ast }\right)=\mathrm{sign}\left({\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i⟨\Phi (x),\Phi \left(x_i\right)⟩+b^{\ast }\right)$

该算法的问题：
（1）合适的映射函数?太难找，几乎找不到
（2）假设找到了映射函数?，由于将数据映射到高维，在高维空间中做运算，计算量太大（维数灾难）

改进：
考虑到算法中如果不需写出分离超平面，即不需写出$w^{\ast }$，而是直接用$f(x)=\mathrm{sign}\left(w^{\ast T}\Phi (x)+b^{\ast }\right)=\mathrm{sign}\left({\alpha }_i^{\ast }{y}_i⟨\Phi (x),\Phi \left(x_j\right)⟩+b^{\ast }\right)$来做预测，同样可以给出分类边界以及达到预测目的。这样的话，算法中需要用到样本的地方全部以内积形式出现，如果我们能够找到一种函数，能够在低维空间中直接算出高维内积，并且该函数对应着某个映射，即解决了以上两个问题。

核函数的定义：
设?是输入空间（欧式空间的子集或离散集合），设ℋ为特征空间（希尔伯特空间），如果存在一个从?到ℋ的映射Φ(?):?→ℋ,使得对所有的?,?∈?，函数?(?,?)满足条件?(?,?)=⟨Φ(?),Φ(?)⟩,则称?(?,?)为核函数，Φ(?)为映射函数。

核函数的本质：用相似度函数重新定义内积运算。

什么样的函数可以作为核函数？
核函数对应的Gram矩阵为半正定矩阵。

常用的核函数:

1. 线性核函数（linear kernel）$K(x,z)=x^{T}z$
2. 多项式核函数（polynomial kernel function）$K(x,z)={\left(\gamma x^{T}z+r\right)}^p$
3. 高斯核函数（ Gaussian kernel function ） $K(x,z)=\exp \left(-\gamma \Vert x-z{\Vert }^2\right)$
4. Sigmoid核函数
5. 拉普拉斯核函数
6. 字符串核函数

面试真题

SVM 为什么采用间隔最大化
当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。感知机利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。线性可分支持向量机利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力最强。可以借此机会阐述一下几何间隔以及函数间隔的关系。

为什么要将求解 SVM 的原始问题转换为其对偶问题
一是对偶问题往往更易求解，当我们寻找约束存在时的最优点的时候，约束的存在虽然减小了需要搜寻的范围，但是却使问题变得更加复杂。为了使问题变得易于处理，我们的方法是把目标函数和约束全部融入一个新的函数，即拉格朗日函数，再通过这个函数来寻找最优点。二是可以自然引入核函数，进而推广到非线性分类问题。

为什么 SVM 要引入核函数
当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。而引入这样的映射后，所要求解的对偶问题的求解中，无需求解真正的映射函数，而只需要知道其核函数。核函数的定义：K(x,y)=<ϕ(x),ϕ(y)>，即在特征空间的内积等于它们在原始样本空间中通过核函数 K 计算的结果。一方面数据变成了高维空间中线性可分的数据，另一方面不需要求解具体的映射函数，只需要给定具体的核函数即可，这样使得求解的难度大大降低。

为什么SVM对缺失数据敏感
这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM 没有处理缺失值的策略。而 SVM 希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。

SVM 核函数之间的区别
一般选择线性核和高斯核，也就是线性核与 RBF 核。 线性核：主要用于线性可分的情形，参数少，速度快，对于一般数据，分类效果已经很理想了。 RBF 核：主要用于线性不可分的情形，参数多，分类结果非常依赖于参数。有很多人是通过训练数据的交叉验证来寻找合适的参数，不过这个过程比较耗时。 如果 Feature 的数量很大，跟样本数量差不多，这时候选用线性核的 SVM。 如果 Feature 的数量比较小，样本数量一般，不算大也不算小，选用高斯核的 SVM。

作者：力扣（LeetCode）
链接：https://zhuanlan.zhihu.com/p/43827793
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

LR和SVM的联系与区别
联系： 1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 2、两个方法都可以增加不同的正则化项，如l1、l2等等。所以在很多实验中，两种算法的结果是很接近的。 区别：1、LR是参数模型，SVM是非参数模型。 2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss，这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。 3、SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。 4、逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。 5、logic 能做的 svm能做，但可能在准确率上有问题，svm能做的logic有的做不了。

作者：七月在线
链接：https://zhuanlan.zhihu.com/p/57947723
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

参考文献
感谢他们使我进步

• 关于SMO算法 https://blog.youkuaiyun.com/luoshixian099/article/details/51227754#commentBox
• 李航《统计学习方法》
• 面试真题 https://zhuanlan.zhihu.com/p/43827793 https://zhuanlan.zhihu.com/p/57947723
• 关于SVM的一些推导参考了《理解SVM的三层境界》