支持向量机（Support Vector Machine）

支持向量机（Support Vector Machine）是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它称为实质上的非线性分类器。

1. SVM解决线性问题

一般地，当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，不过这时的解有无穷多个。线性可分支持向量机利用间隔最大化求最优分离超平面，这时，解是唯一的。

给定线性可分训练数据集，通过间隔最大化等价地求解相应的凸二次规划问题学习得到的分离超平面为$$w^T\cdot x+b=0$$以及相应的分类决策函数$$f(x)=sign(w^T\cdot x+b)$$称为线性可分支持向量机。其中，$w$和$x$是向量，其维度是特征空间的维度，$b$是常数。

线性可分可以简单认为是，对数据集的所有实例，有
$${\text{y}}_{\text{i}}\cdot [{\text{w}}^{\mathbf{T}}\cdot \text{x}+\text{b}]>0$$

讨论SVM的优化问题之前，我们先回顾两个事实：

• $w^T\cdot x+b=0$ 和 $a{w}^T\cdot x+ab=0$ 是同一个平面，其中 $a\in {\mathbb{R}}^{+}$
• 点 $x_0$ 的坐标为 $({\eta }_1,{\eta }_2,\cdots ,{\eta }_n{)}^T$ ，则它到超平面 $w^T\cdot x+b=0$ 的距离$d$的公式为：$$d=\frac{|w^T\cdot x_0+b|}{||w||}$$其中 $||w||$ 表示 $w$ 的 $l_2$ 范数

下面考虑如何求得一个最大间隔的分离超平面，具体地，这个问题可以表示为约束最优化问题：
$$\begin{array}{rl}& \underset{w,b}{\max }d=\frac{|w^T\cdot x+b|}{||w||}\\ & \\ & s.t.y_i\cdot \frac{w^T\cdot x_i+b}{||w||}\ge d,i=1,2,\cdots ,n\end{array}$$
其含义是我们要求一束平面的法向量，使其与支持向量相切时的两个平面间的距离$d$最大，约束条件自然是每个实例点到分离超平面的距离要大于等于d，这里乘以$y_i$是为了让距离都为正数，避免负数的运算，$y$的取值为 { − 1 , + 1 } \{-1,+1\} {−1,+1}。

但是，这种形式无法求解，我们需要寻找等价的求解。根据上面提到的事实1，可以发现
$$\begin{array}{rl}& \underset{w,b}{\max }d=\frac{|a{w}^T\cdot x+ab|}{||aw||}=\frac{a|w^T\cdot x+b|}{a||w||}=\frac{|w^T\cdot x+b|}{||w||},a\in {\mathbb{R}}^{+}\\ & \\ & s.t.y_i\cdot \frac{w^T\cdot x_i+b}{||w||}\ge d,i=1,2,\cdots ,n\end{array}$$所以，我们可以让$|w^T\cdot x+b|$等于一个常数$c$，这样，$|a{w}^T\cdot x+ab|$就可以表示为$|ac|$，由$w,b$控制转化为由$a$控制表达式的值，取$c=1$，则，原问题转化为：$$\begin{array}{rl}& \underset{w,b}{\max }d=\frac{|ac|}{||aw||}=\frac{1}{||w||}\\ & \\ & s.t.y_i\cdot \frac{w^T\cdot x_i+b}{||w||}\ge d,i=1,2,\cdots ,n\end{array}$$

【注】对于用一个常数代替 $w^T\cdot x+b$，我的理解是，对于一个超平面$(w,b)$，训练集的支持向量是确定的（平面确定了，那么支持向量自然而然应该也确定了，通过平移找到边界相切点即可），所以其到超平面的距离是确定的（都是 $w$ 和 $b$ 的函数），因而 $|w^T\cdot x+b|$ 也是确定的

此问题等价于下面的约束问题：
$$\begin{array}{rl}& \min \frac{1}{2}||w|{|}^2\\ & \\ & s.t.y_i\cdot [w^T\cdot x_i+b]\ge 1,i=1,2,\cdots ,n\end{array}$$这里的等价形式设为 $\frac{1}{2}||w|{|}^2$ 是为了后面求解时方便求导，至此问题已经转化为凸优化问题中的二次规划问题，其特性是要么无解，要么有唯一解

2. SVM解决非线性问题的思路

• 非线性相比线性问题，只需要做一点小小的改造：
  $$\begin{array}{rl}& \min \frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.\{\begin{array}{l}{y}_i\cdot [w^T\cdot x_i+b]\ge 1-{\xi }_i\\ {\xi }_i\ge 0\end{array}i=1,2,\cdots ,n\end{array}\cdots \cdots ①$$其中，${\xi }_i$ 称为松弛变量（slack variable），$C\sum _{i=1}^n{\xi }_i$ 称为正则项（regulation term），$C$是超参数

此优化式并不能解决所有的非线性问题，如异或问题，在当前特征空间找不到分离超平面时，可以通过高维映射，在高维空间中找分离超平面 $$低维x\stackrel{\phi }{\to }高维\phi (x)$$如：$$x=\left[\begin{array}{c}a\\ b\end{array}\right]\stackrel{\phi }{\to }\phi (x)=\left[\begin{array}{c}{a}^2\\ b^2\\ a\\ b\\ ab\end{array}\right]$$原来二维空间无法找到分离超平面，现在映射到五维就能够找到分离超平面了。此时，上面的约束条件要做一些改变：$$\begin{array}{rl}& \min \frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.\{\begin{array}{l}{y}_i\cdot [w^T\cdot \phi (x_i)+b]\ge 1-{\xi }_i\\ {\xi }_i\ge 0\end{array}i=1,2,\cdots ,n\end{array}\cdots \cdots ②$$此外，可以证明，映射的维度越高能找到分离超平面的概率越大，维度趋近于无穷时，概率趋近于1，所以选取$\phi (x)$时尽量选择的维度越高越好。但是，趋近于无限维给我们求解带来了困难，我们有如下方法。

• 我们可以不知道无限维映射 $\phi (x)$ 的显式表达式，我们只要知道一个核函数（kernel function）$$K(x_1,x_2)=\phi (x_1{)}^T\phi (x_2)$$则②这个优化式，仍然可解。下面介绍一些常见核函数。
  • 高斯核函数
    $$\begin{array}{rl}K(x_1,x_2)& =e^{-\frac{||x_1-x_2|{|}^2}{2{\sigma }^2}}\\ & \\ & =\phi (x_1{)}^T\phi (x_2)\end{array}$$
  • 多项式核函数
    $$\begin{array}{rl}K(x_1,x_2)& =(x_1^T{x}_2+1{)}^d\\ & \\ & =\phi (x_1{)}^T\phi (x_2)\end{array}$$

现在假设我们知道了核函数，那么如何解优化式②呢？

原问题与对偶问题

• 原问题（Prime Problem）
  $$\begin{array}{rl}& \min f(w)\\ & s.t.\{\begin{array}{ll}{g}_i(w)\le 0& i=1\sim K\\ h_j(w)=0& j=1\sim M\end{array}\end{array}$$
• 对偶问题（Dual Problem）
  首先给出如下函数定义
  $$\begin{array}{rl}L(w,\alpha ,\beta )=& f(w)+\sum _{i=1}^K{\alpha }_i{g}_i(w)+\sum _{j=1}^M{\beta }_j{h}_j(w)\\ =& f(w)+{\alpha }^{T}g(w)+{\beta }^{T}h(w)\end{array}$$
  对偶问题的定义如下
  max ⁡ θ ( α , β ) = inf ⁡ 所 有 w { L ( w , α , β ) } s . t . α i ≥ 0 i = 1 ∼ K \begin{aligned}&\displaystyle\max\quad \theta(\alpha,\beta)= \inf_{所有 w}\{L(w,\alpha,\beta)\}\\&s.t. \quad\quad\alpha_i\ge0\quad\quad i=1\sim K\end{aligned} ​maxθ(α,β)=所有winf​{L(w,α,β)}s.t.αi​≥0i=1∼K​其中 $\inf$ 的含义是求最小值，这里是先把 $\alpha ,\beta$ 当做常数，求关于$w$的最小值。
  
  
  定理
  如果 $w^{\ast }$ 是原问题的解，而 ${\alpha }^{\ast },{\beta }^{\ast }$ 是对偶问题的解，则有$$f(w^{\ast })\ge \theta ({\alpha }^{\ast },{\beta }^{\ast })$$ 定义$G=f(w^{\ast })-\theta ({\alpha }^{\ast },{\beta }^{\ast })\ge 0$，$G$叫做原问题与对偶问题的间距（duality gap），对于某些特定优化问题，可以证明 $G=0$
  
  强对偶定理
  若$f(w)$为凸函数，，且$g(w)=Aw+B,h(w)=Cw+D$，则此优化问题的原问题与对偶问题间距为$0$，即$$f(w^{\ast })=\theta ({\alpha }^{\ast },{\beta }^{\ast })$$

3. 将SVM的原问题化为对偶问题

$$\begin{array}{rl}& \min f(w)=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i(凸函数)\\ & s.t.\{\begin{array}{l}{y}_i\cdot [w^T\cdot \phi (x_i)+b]\ge 1-{\xi }_i\\ {\xi }_i\ge 0\end{array}i=1,2,\cdots ,n\end{array}$$由于原问题定义中约束条件都是小于等于零的，故第一步改变如下：$$\begin{array}{rl}& \min f(w)=\frac{1}{2}||w|{|}^2-C\sum _{i=1}^n{\xi }_i(凸函数)\\ & s.t.\{\begin{array}{l}1+{\xi }_i-y_i\cdot [w^T\cdot \phi (x_i)+b]\le 0\\ {\xi }_i\le 0\end{array}i=1,2,\cdots ,n\end{array}$$下面将其转化为对偶问题（根据强对偶定理，原问题和对偶问题同解）：$$\begin{array}{rl}& L(w,{\xi }_i,b)=\frac{1}{2}||w|{|}^2-C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\alpha }_i[1+{\xi }_i-y_i{w}^T\phi (x_i)+y_{i}b]+\sum _{i=1}^n{\beta }_i{\xi }_i\\ & \max \theta (\alpha ,\beta )=\underset{所有的w,{\xi }_i,b}{\inf }L(w,{\xi }_i,b)\\ & s.t.\{\begin{array}{l}{\alpha }_i\ge 0\\ {\beta }_i\ge 0\end{array}i=1,2,\cdots ,n\end{array}$$

• step 1：求解$\underset{所有的w,{\xi }_i,b}{\inf }L(w,{\xi }_i,b)$
  $$\{\begin{array}{l}\frac{\partial L}{\partial w}=0\\ \\ \frac{\partial L}{\partial {\xi }_i}=0\\ \\ \frac{\partial L}{\partial b}=0\end{array}⟹\{\begin{array}{l}w=\sum _{i=1}^n{\alpha }_i{y}_i\phi (x_i)\\ {\beta }_i+{\alpha }_i=C\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$

这里利用矩阵分析可以得出：

• 若$f(w)=\frac{1}{2}||w|{|}^2$，则$\frac{\partial f}{\partial w}=w$
• 若$f(w)=w^{T}x$，则$\frac{\partial f}{\partial w}=x$

• step 2：代入原式
  $$\begin{array}{rl}& \max \theta (\alpha )=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)\\ & s.t.\{\begin{array}{l}0\le {\alpha }_i\le C\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}i=1,2,\cdots ,n\end{array}$$至此已经将SVM问题转化为标准的凸优化问题，通用算法是SMO算法
• step 3：假设已经利用SMO算法求出 $\alpha$ ，怎么使用

测试流程

• 测试样本X
  • 若$w^T\phi (x)+b\ge 0$，则$y=+1$
  • 若$w^T\phi (x)+b<0$，则$y=-1$

根据测试流程，我们不需要知道$w$和$b$具体多少，只要能得到表达式的值就行，然后代入$sign$函数分类即可。

• $w^T\phi (x)$
  $$\begin{array}{rl}{w}^T\phi (x)& =\sum _{i=1}^n[{\alpha }_i{y}_i\phi (x_i){]}^T\phi (x)\\ & =\sum _{i=1}^n{\alpha }_i{y}_i\phi (x_i{)}^T\phi (x)\\ & =\sum _{i=1}^n{\alpha }_i{y}_{i}K(x_i,x)\end{array}$$
• $b$
  这个要用到强对偶定理的结论，即对$\forall i=1\sim n$，有：
  ①要么 ${\beta }_i=0$，要么 ${\xi }_i=0$
  ②要么 ${\alpha }_i=0$，要么 $1+{\xi }_i-y_i{w}^T\phi (x_i)-y_{i}b=0$
  
  取一个$0<{\alpha }_i<C⟹{\beta }_i=C-{\alpha }_i>0$，此时 $$\begin{array}{rl}& \{\begin{array}{ll}& {\beta }_i\ne 0⟹{\xi }_i=0\\ & {\alpha }_i\ne 0⟹1+{\xi }_i-y_i{w}^T\phi (x_i)-y_{i}b=0⟹1-y_i{w}^T\phi (x_i)-y_{i}b=0\end{array}\\ & \\ ⟹& b=\frac{1-y_i{w}^T\phi (x_i)}{y_i}\stackrel{代入w^T\phi (x)的结果}{=}\frac{1-y_i\sum _{j=1}^n{\alpha }_j{y}_{j}K(x_i,x_j)}{y_i}\end{array}$$实际算法，为了提高精确度，可以找出所有的 ${\alpha }_i$，算出来的 $b$ 求平均值作为结果

4. SVM算法总结

4.1 训练流程

1. 输入训练样本： { x 1 , y 1 } , { x 2 , y 2 } , ⋯   , { x n , y n } \displaystyle\{x_1,y_1\},\{x_2,y_2\},\cdots,\{x_n,y_n\} {x1​,y1​},{x2​,y2​},⋯,{xn​,yn​}
2. 解优化问题，求 $\alpha$ （SMO算法）$$\begin{array}{rl}& \max \theta (\alpha )=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)\\ & s.t.\{\begin{array}{l}0\le {\alpha }_i\le C\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}i=1,2,\cdots ,n\end{array}$$
3. 求出$b$，$b=\frac{1-y_i\sum _{j=1}^n{\alpha }_j{y}_{j}K(x_i,x_j)}{y_i}$

4.2 测试流程

1. 输入测试样本： { x 1 , x 2 , ⋯   , x n } \displaystyle\{x_1,x_2,\cdots,x_n\} {x1​,x2​,⋯,xn​}
2. $\begin{array}{r}\{\begin{array}{ll}若\sum _{i=1}^n{\alpha }_i{y}_{i}K(x_i,x)+b\ge 0，& 则y=+1\\ & \\ 若\sum _{i=1}^n{\alpha }_i{y}_{i}K(x_i,x)+b<0，& 则y=-1\end{array}\end{array}$