机器学习进阶（四）SVM(不完善)

支持向量机

以二分类为例， y i ∈ { − 1 , 1 } y_i\in\{-1,1\} yi​∈{−1,1}，+1为正例，-1为负例

线性可分数据集的支持向量机

间距

样本$({\mathbf{x}}_{\mathbf{i}},y_i)$到超平面$f(x)=w^{T}x+b$的距离为（假设正例在正向，负例在负向）,
$$d=\frac{y_i(w^T{\mathbf{x}}_{\mathbf{i}}+b)}{\sqrt{||w|{|}_2}},$$

超平面

假设给定线性可分训练数据集，通过间隔最大化得到的分离超平面为
$$y(x)=w^T\Phi (x)+b,$$
相应的分类决策函数为$f(x)=\mathrm{sign}\left(w^T\Phi (x)+b\right)$。

1. 该决策函数称为线性可分支持向量机。
2. $\Phi (x)$是某个确定的特征空间转换函数，作用是将$x$映射到(更高的)维度。
   最简单直接的：$\Phi (x)=x$
3. 求解分离超平面问题可以等价为求解相应的凸二次规划问题
4. $$\{\begin{array}{l}y\left(x_i\right)>0\iff y_i=+1\\ y\left(x_i\right)<0\iff y_i=-1\end{array}\Rightarrow y_i\cdot y\left(x_i\right)>0$$
   从而目标函数为
   $$\underset{w,b}{\max }\underset{i}{\min }\frac{y_i\cdot y\left(x_i\right)}{\Vert w\Vert }=\underset{w,b}{\max }\underset{i}{\min }\frac{y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)}{\Vert w\Vert }$$

目标函数

（PS：
由几何知识可知，空间任意一点x到超平面$S:w^{T}x+b=0$的距离公式为：
$$\frac{(w^T\mathbf{x}+b)}{\sqrt{||w|{|}_2}},$$

设属于两个分类的支持向量到该超平面的距离都为$d(>0)$,由于支持向量是各自分类数据中，距离超平面最近的点，针对所有数据有以下不等式：

$$\frac{(w^T\mathbf{x}+b)}{\sqrt{||w|{|}_2}}\ge d$$

公式(1)两边同除以d,可得：,使用换元法，令：
$$\{\begin{array}{ll}& {\alpha }^T=\frac{w^T}{d||w||}\\ & \beta =\frac{b}{d||w||}\end{array}$$

这样就得到约束条件常见形式:
$$|{\alpha }^{T}X+\beta |\ge 1$$
只是改变了$w^T\mathbf{x}+b$的函数值为${\alpha }^{T}X+\beta$，未改变点与平面的距离
）

可以通过等比例缩放 $w$ 和 $b$ 的方法（并未改变超平面的方向，只改变了$\left(w^T\cdot \Phi (x_i\right)+b$的值），使得两类点的函数值都满足$|y(x_i)|\ge 1$（两侧的支撑向量的函数值取到1)，，即
$$y_i\cdot \left(w^T\cdot \Phi (x_i\right)+b)\ge 1$$

图中与超平面得间隔$margin$为$\frac{1}{||w||}$.
从而目标函数转为
$$\begin{array}{rl}& \underset{w,b}{\max }\underset{i}{\min }\frac{y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)}{\Vert w\Vert }\\ \iff & \underset{w,b}{\max }\frac{1}{\Vert w\Vert },s.t.y_i\cdot \left(w^T\cdot \Phi (x_i\right)+b)\ge 1,i=1,\dots ,n\\ \iff & \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2,s.t.y_i\cdot \left(w^T\cdot \Phi (x_i\right)+b)\ge 1,i=1,\dots ,n\end{array}$$

由拉格朗日乘子法，得

$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)-1\right).\text{\hspace{1em}(1)}$$
由于原问题是极小极大问题
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
原始问题的对偶问题，是极大极小问题
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha ).$$

拉格朗日乘子法求解

先求对偶问题中${\min }_{w,b}L(w,b,\alpha )$部分，将拉格朗日函数 $L(w,b,\alpha )$ 分别 对 $w,b$ 求并令其为 0
$$\begin{array}{rl}\frac{\partial L}{\partial w}=0& \Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)\\ \frac{\partial L}{\partial b}=0& \Rightarrow 0=\sum _{i=1}^n{\alpha }_i{y}_i\end{array}\text{\hspace{1em}(2)}$$
将（2）式带入（1）得

$$\begin{array}{rl}L(w,b,\alpha )=& \frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)-1\right)\\ =& \frac{1}{2}{w}^{T}w-w^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-b\sum _{i=1}^n{\alpha }_i{y}_i+\sum _{i=1}^n{\alpha }_i\\ =& \frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-w^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-b\cdot 0+\sum _{i=1}^n{\alpha }_i\\ =& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}{\left(\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)\right)}^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)\\ =& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\Phi }^T\left(x_i\right)\Phi \left(x_j\right)\end{array}$$
下面求${\min }_{w,b}L(w,b,\alpha )$对$\alpha$求极大，即
$$\begin{array}{rl}& \underset{\alpha }{\max }\left(\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\Phi }^T\left(x_i\right)\Phi \left(x_j\right)\right)\\ s.t.& \sum _{i=1}^n{\alpha }_i{y}_i=0,i=1,\dots ,n\end{array}$$
假设${\mathbf{\alpha }}^{\ast }=({\alpha }_1^{\ast },\dots ,{\alpha }_n^{\ast })$为最大化的解，则带入(2)可得
$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\Phi \left(x_i\right),\end{array}$$
将$w^{\ast }$再带入$(y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)-1=0$得
$$b^{\ast }=y_i-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(\Phi \left(x_i\right)\cdot \Phi \left(x_j\right)\right).$$
求得分离超平面$w^{\ast }\Phi (x)+b^{\ast }=0$，那么分类决策函数即为$f(x)=sign(w^{\ast }\Phi (x)+b^{\ast })$。

可以看出只有${\alpha }_i^{\ast }>0$对应的样本点$(x_i,y_i)$对决策面起作用，称之为支撑向量。

线性不可分数据集的支持向量机

目标函数

若数据线性不可分，则增加松弛因子${\xi }_i\ge 1$，使函数间隔加上松弛变量大于等于1。这样，约束条件变成

$$y_i\left(w\cdot \Phi (x_i)+b\right)\ge 1-{\xi }_i$$
目标函数改为
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ s.t.& y_i\left(w\cdot \Phi (x_i)+b\right)\ge 1-{\xi }_i,i=1,\dots ,n\\ & {\xi }_i\ge 0,i=1,\dots ,n\end{array}$$
可以看成是最小化模型误差与核函数系数规模这两部分的和。
显然，C越大，${\sum }_{i=1}^N{\xi }_i$越受关注，就会紧缩，间隔就小，反之越大。

拉格朗日乘子法求解

拉格朗日函数为
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w\cdot \Phi (x_i)+b\right)-1+{\xi }_i\right)-\sum _{i=1}^n{\mu }_i{\xi }_i$$
求解目标函数的对偶问题即为上式拉格朗日函数的极大极小问题。

首先，对$w,b,\xi$求偏导 \phi(x_{i})
$$\begin{array}{rl}\frac{\partial L}{\partial w}=0& \Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i\varphi \left(x_i\right)\\ \frac{\partial L}{\partial b}=0& \Rightarrow 0=\sum _{i=1}^n{\alpha }_i{y}_i\\ \frac{\partial L}{\partial {\xi }_i}=0& \Rightarrow C-{\alpha }_i-{\mu }_i=0\end{array}\text{\hspace{1em}(3)}$$
将上述三式带入拉格朗日函数中，得到
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^n{\alpha }_i$$
其次，对上式求关于 $\alpha$ 的极大，得到：
$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi (x_i)\cdot \Phi (x_j)\right)+\sum _{i=1}^n{\alpha }_i\\ \text{ s.t. }& \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & \begin{array}{l}{\alpha }_i\ge 0\\ {\mu }_i\ge 0,i=1,2,\dots ,n\end{array}\end{array}$$
化简可得
$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi (x_i)\cdot \Phi (x_j)\right)+\sum _{i=1}^n{\alpha }_i\\ \text{ s.t. }& \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C\end{array}$$

假设${\mathbf{\alpha }}^{\ast }=({\alpha }_1^{\ast },\dots ,{\alpha }_n^{\ast })$为最大化的解，则带入(3)可得
$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i\Phi (x_i)\\ b^{\ast }& =\frac{{\max }_{i:y_i=-1}{w}^{\ast }\cdot x_i+{\min }_{i:y_i=1}{w}^{\ast }\cdot x_i}{2}\end{array}$$
注意:

1. 计算$b^{\ast }$时，需要使用满足条件 $0<{\alpha }_j<\mathrm{C}$ 的向量。
   软间隔的支持问量 $x_i$ 或者在间隔边界上，或者在间隔边界与分离超平面之 间，或者在分离超平面误分一侧：（理由还需弄清楚）
   若 ${\alpha }_i^{\ast }<C,$ 则 ${\xi }_i=0,$ 支持向量 $x_i$ 恰好落在间 隔边界上;
   若 ${\alpha }_i^{\ast }=C,0<{\xi }_i<1,$ 则分类正确， $x_i$ 在间隔边界与分离超平面之间;
   若 ${\alpha }_i^{\ast }=C,{\xi }_i=1,$ 则 $x_i$ 在分离超平面上;
   若 ${\alpha }_i^{\ast }=C,{\xi }_i>1,$ 则 $x_i$ 位于分离超平面误分一侧
2. 实践中往往取支持向量的所有值取羊均，作为b*

求得分离超平面 $w^{\ast }x+b^{\ast }=0$决策函数为$f(x)=\mathrm{sign}\left(w^{\ast }x+b^{\ast }\right)$。

核函数

使用核函数，将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分。

将$\kappa \left(x_1,x_2\right)$带入${\Phi }^T(x_i)\Phi (x_j)$
多项式核函数：$\kappa \left(x_1,x_2\right)={\left(x_1\cdot x_2+c\right)}^d$
高斯核RBF函数：$\kappa \left(x_1,x_2\right)=\exp \left(-\gamma \cdot {\Vert x_1-x_2\Vert }^2\right)$
Sigmoid核函数：$\kappa \left(x_1,x_2\right)=\tanh \left(x_1\cdot x_2+c\right)$
$H=(\kappa \left(x_i,x_j\right){)}_{n\times n}$为正定，是$\kappa \left(x_i,x_j\right)$为核函数的必要条件

（PS：
以多项式核为例
$$\begin{array}{rl}\kappa (\vec{x},\vec{y})& =(\vec{x}\cdot \vec{y}+c{)}^2\\ & =(\vec{x}\cdot \vec{y}{)}^2+2c\vec{x}\cdot \vec{y}+c^2\\ & =\sum _{i=1}^n\sum _{j=1}^n\left(x_i{x}_j\right)\left(y_i{y}_j\right)+\sum _{i=1}^n\left(\sqrt{2c}{x}_i\cdot \sqrt{2c}{y}_i\right)+c^2\end{array}$$
相当于把输入$x_{1\times n}$映射到了$\Phi (\vec{x}{)}_{1\times (n^2+n+1)}$
$$\begin{array}{rl}\Phi (\vec{x})=& (x_1{x}_1,\dots ,x_1{x}_n,\dots ,x_i{x}_1,\dots ,x_i{x}_n,\dots ,x_n{x}_1,\dots ,x_n{x}_n\\ & \sqrt{2c}{x}_1,\dots ,\sqrt{2c}{x}_i,\dots ,\sqrt{2c}{x}_n,c)\end{array}$$
再对$\Phi (\vec{x})$和$\Phi (\vec{y})$求内积。

以高斯核为例，则
$$\begin{array}{l}\kappa \left(x_1,x_2\right)=e^{-\frac{{\Vert x_1-x_2\Vert }^2}{2{\sigma }^2}}=e^{-\frac{{\left(x_1-x_2\right)}^2}{2{\sigma }^2}}=e^{-\frac{x_1^2+x_2^2-2x_1{x}_2}{2{\sigma }^2}}=e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot e^{\frac{x_1{x}_2}{{\sigma }^2}}\\ =e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot \left(1+\frac{1}{{\sigma }^2}\cdot \frac{x_1{x}_2}{1!}+{\left(\frac{1}{{\sigma }^2}\right)}^2\cdot \frac{{\left(x_1{x}_2\right)}^2}{2!}+{\left(\frac{1}{{\sigma }^2}\right)}^3\cdot \frac{{\left(x_1{x}_2\right)}^3}{3!}+\cdots +{\left(\frac{1}{{\sigma }^2}\right)}^n\cdot \frac{{\left(x_1{x}_2\right)}^n}{n!}+\cdots \right)\\ =e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot \left(1\cdot 1+\frac{1}{1!}\frac{x_1}{\sigma }\cdot \frac{x_2}{\sigma }+\frac{1}{2!}\cdot \frac{x_1^2}{{\sigma }^2}\cdot \frac{x_2^2}{{\sigma }^2}+\frac{1}{3!}\cdot \frac{x_1^3}{{\sigma }^3}\cdot \frac{x_2^3}{{\sigma }^3}+\cdots +\frac{1}{n!}\cdot \frac{x_1^n}{{\sigma }^n}\cdot \frac{x_2^n}{{\sigma }^n}+\cdots \right)\\ =\Phi {\left(x_1\right)}^T\cdot \Phi \left(x_2\right)\end{array}$$
相当于把输入$x_{1\times n}$映射到了$\Phi (\vec{x}{)}_{1\times \infty }$空间
$$\Phi (x)=e^{-\frac{x^2}{2{\sigma }^2}}\cdot \left(1,\sqrt{\frac{1}{1!}}\frac{x}{\sigma }+\sqrt{\frac{1}{2!}}\frac{x^2}{{\sigma }^2},\dots ,\sqrt{\frac{1}{n!}}\frac{x^n}{{\sigma }^n},\cdots \right)$$
再对$\Phi (\vec{x})$和$\Phi (\vec{y})$求内积。核函数只要好好调参，一定能成。
）

SVN