支持向量机简单数学推导（1）

**

简介

**
支持向量机（support vector machine），一般简称为SVM，是一种二分类模型，学习策略是间隔最大化，最终转化为二次规划的求解问题。
假设有数据集T={(x1,y1),(x2,y2),…,(xn,yn)}T=\lbrace(x_1,y_1 ),(x_2,y_2 ),…,(x_n, y_n )\rbraceT={(x1​,y1​),(x2​,y2​),…,(xn​,yn​)}，其中$x_i$表示第i个实例，$y_i$表示数据的类标记，y∈{+1,-1}，当y=+1时表示案例属于正类，y=-1时表示案例属于负类。再假设数据集线性可分。
学习的目标就是在特征空间中找到一个超平面$\omega \ast x+b=0$，将数据集分为正负两类。
找出超平面之后，要通过决策函数对数据类型进行判断，本文采用决策函数为$f(x)=sign(\omega \ast x+b)$。
$$f(x)=\{\begin{array}{ll}1,& \text{if x>=0 }\\ 0,& \text{if x<0 }\end{array}$$

函数间隔和几何间隔

一般情况下，某点距超平面的距离可以表示分类的确信程度，在超平面$\omega \ast x+b=0$确定的情况下，$|\omega \ast x+b|$可以表示该点到平面的距离。对点$(x_i,y_i)$，$(\omega \ast x_i+b)$和$y_i$的符号可以判断分类是否正确，此时定义该点的函数间隔为：${\iota }_i=y_i\ast (\omega \ast x_i+b)$
定义超平面(ω,b)关于数据集T的函数间隔为所有实例点的函数间隔的最小值，即：
$$\iota =min({\iota }_i)$$
函数间隔可以表示分类的正确性，但是只要成比例的改变超平面的参数，函数间隔会发生改变但是分类结果保持不变，所以需要对函数间隔加一些约束，例如规范化超平面的法向量，$||\omega ||=1$，这使得间隔时确定的，此时函数间隔变为几何间隔。
定义数据集中点$(x_i,y_i)$的几何间隔为：
$$\gamma =y_i\ast (\frac{w}{||\omega ||}\ast w+\frac{b}{||\omega ||})$$
与函数间隔相似的是定义超平面(ω,b)关于数据集T的几何间隔为所有实例点的几何间隔的最小值，即：$\gamma =min({\gamma }_i)$
根据两者的定义，函数间隔和几何关系有如下关系：
$$\iota =\gamma \ast |(|\omega |)|$$
其中$||\omega ||$是ω的$L_2$范式，就是内积。

（硬）间隔最大化

支持向量机的基本思路就是找到可以把数据分为正负两类的超平面，对于数据集T来说在分类精度不确定的情况下可以找到无数个超平面，为了让分类准确，我们让几何间隔保持最大，也就是说最难分的点（靠近超平面的点）也有足够的确信度将其分开，此时超平面对未知的新实例具有较好的分类作用。
将几何间隔最大化问题写成如下方程：
$$max{\gamma }_{w,b}$$
$$s.t.y_i(\frac{w}{||\omega ||}\ast w+\frac{b}{||\omega ||})\ge \gamma i=1,2,\dots ,n$$
方程表示我们希望最大化几何间隔γ，而数据集中所有点的几何间隔至少为γ。考虑到几何间隔和函数间隔的关系，方程用函数间隔表示为：
$$max\frac{\iota }{||w||}$$
$$s.t.y_i\ast (w\ast x_i+b)\ge {\iota }_{i}i=1,2,...,n$$
此时可以看出来γ ̌的取值与最优化问题无关，我们将$\iota$取值为1，而最大化$\frac{1}{||w||}$的问题相当于最小化$\frac{1}{2}||w|{|}^2$，此时将上述方程整理为：
$$min\frac{1}{2}||w|{|}_{w,b}^2$$
$$s.t.y_i\ast (w\ast x_i+b)\ge 1i=1,2,\dots ,n$$
这是一个凸二次规划问题，可以采用拉格朗日对偶法进行进一步计算。此时给出支持向量的概念，优化问题的提出基础是最难分的点也要保证较好的分类效果，最难分的点就是超平面附近的点，在超平面两端，各有点在约束条件上，以正数集为例。点A$(x_a,y_a)$位于正数据，则$y_a=1$，同时有$w\ast x_a+b=1$，这样的点就是支持向量。在优化问题中，支持向量的位置决定最终的结果，除支持向量以外，其他点位置变动或直接删除没有影响。

拉格朗日对偶法

假设一个约束条件优化问题，方程如下：
$$minf(x{)}_x$$
$$s.t.g_i(x)\le 0,i=1,2,\dots ,n;h_j(x)=0,j=1,2,\dots ,m$$
构建拉格朗日函数为：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^n{\alpha }_i{g}_i+\sum _{j=1}^m{\beta }_j{h}_j$$
$$s.t.{\alpha }_i\ge 0,i=1,2,\dots ,n$$
考虑x的函数,$p(x)=ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}L(x,\alpha ,\beta )$
当x不满足原本的约束条件时，即出现$g_i(x)>0$或者${\beta }_i̸=0$，就令${\alpha }_i$ 、${\beta }_i$趋向无穷大，则有p(x)也趋向于无穷大；当x满足约束条件时，p(x)=f(x)。
可以整理为：
$$p(x)=\{\begin{array}{ll}f(x),& \text{ 满足约束条件 }\\ \infty ,& \text{不满足约束条件 }\end{array}$$
此时原本的极小化问题表示为：
$$mi{n}_{x}ma{x}_{\alpha ,\beta ;{\alpha }_i>0}L(x,\alpha ,\beta )$$
定义为拉格朗日函数的极小极大问题。
$$ma{x}_{\alpha ,\beta ;{\alpha }_i>0}mi{n}_{x}L(x,\alpha ,\beta )$$
是原本优化问题的对偶问题，而且对偶问题在某些条件下最优值相等。

间隔最大化的对偶计算

原问题为
$$mi{n}_{w,b}\frac{1}{2}||w|{|}^2$$
$$s.t.y_i(w{x}_i+b)\ge 1i=1,2,\dots ,n$$
拉格朗日函数为：
$$L(w,b,x)=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i{y}_i(y_i(w{x}_i+b))+\sum _{i=1}^n{\alpha }_i\text{\hspace{1em}(1)}$$
$$s.t.{\alpha }_i>0$$
原问题可以整理为：
$$mi{n}_{w,b}ma{x}_{\alpha }L(w,b,\alpha )$$
对偶问题为：
$$ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha )$$
求解过程如下：
先求$mi{n}_{w,b}L(w,b,\alpha )$。
$$\{\begin{array}{ll}\frac{dL}{dw}=w-{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i=0,& \\ \frac{dL}{db}={\sum }_{i=1}^n{\alpha }_i{y}_{i}0,& \end{array}\text{\hspace{1em}(1)}$$
把2式代入1整理则有
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i{y}_i(w^T{x}_i+b)+\sum _{i=1}^n{\alpha }_i$$
$$=\frac{1}{2}{w}^{T}w-\sum _{i=1}^n{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^n{\alpha }_i{y}_{i}b+\sum _{i=1}^n{\alpha }_i$$
$$=\frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i-\sum _{i=1}^n{\alpha }_i{y}_i{w}^T{x}_i+\sum _{i=1}^n{\alpha }_i{y}_{i}b+\sum _{i=1}^n{\alpha }_i$$
$$=\frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i-w^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i+\sum _{i=1}^n{\alpha }_i$$
$$=-\frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i+\sum _{i=1}^n{\alpha }_i$$
$$=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)+\sum _{i=1}^n{\alpha }_i$$
问题转换为：
$$ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)+\sum _{i=1}^n{\alpha }_i$$
$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0$$
对上式求出最优解$${\alpha }^{\ast }=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n)$$
计算$$w^{\ast }=\sum _{i=1}^n{x}_i{y}_i{\alpha }_i，b^{\ast }=y_j-\sum _{i=1}^n{\alpha }_i{y}_i(x_i\bullet x_j)$$
(未完)