初探支持向量机

支持向量机

最近在复习机器学习的算法，今天来写一写支持向量机，作为一个自己学习的记录。

---

首先总体来分析一下支持向量机（SVM）,支持向量机是一种二分类的模型。属于监督学习的一类。它的基本模型是定义在特征空间上的间隔最大的线性分类器。学习策略就是间隔最大化，可以形式化为一个求解凸二次规划的问题。它是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，能够达到在拥有样本量较少的情况下，能够获得良好统计规律。

支持向量机根据数据的不同大致可以分为：

1. 线性可分支持向量机
   当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机
2. 线性支持向量机
   当训练数据接近线性可分时，通过软间隔最大化，学习一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机
3. 非线性支持向量机
   当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机

接下来我分别介绍上面的三种：

1.线性可分支持向量机
当训练数据集线性可分时，存在无穷多个分离超平面可将两类数据正确分开，感知机利用吴分类最小的策略求的分离超平面，不过这个时候可以得到无穷多个解，而线性可分支持向量机利用间隔最大化来求最优分离超平面，这个时候，得到的解是唯一的，这也是支持向量机有别与感知机的点。

对于SVM来说存在一个唯一的分类超平面能够使两个点集到此平面的最小距离最大（间隔最大化），就像右图显示的一样
首先我们来看看什么是间隔，

1.,1 函数间隔和几何间隔
一般来说，一个点距离分类超平面的远近可以表示为分类预测的确信程序，在超平面w*x+b =0 确定的情况下，|w*x+b|能够相对地表示点x到超平面的远近，而w*x+b的符号与类标记y的符号是否一致能够表示分类是否正确，所以可以用y*(w*x+b)来表示分类的正确性及确信度，而这个也就是所谓的函数间隔的概念。（定义超平面（w,b）关于训练数据集T的函数间隔为超平面(w,b)关于T中所有样本点（$x_i,y_i$）的函数间隔之最小值，即

$$\hat\gamma_i = min_{i=1,2---N} \hat\gamma_i$$ ） 通过上面的介绍我们知道支持向量机需要找到一个最大间隔的分类超平面，显然函数间隔（functional margin）不能满足要求，因为只要成比例的改变w 和 b，例如将他们改成2w和2b，超平面并没有改变，但函数间隔却成为原来的2倍，所以需要对分离超平面的法向量w加某些约束，使得间隔是确定的，这时函数间隔就成为了几何间隔。

对于一个点X，令其垂直投影到超平面上的对应的为 $x_0$,由于W 是垂直与超平面的一个向量， $\gamma$ 为样本X 到分类间隔的距离，我们有 $$x = x_0 + \gamma \frac{\omega}{\Vert\omega\Vert}$$ 又由于 $x_0$是超平面上的点，满足 $f(x_0) =0$,带入超平面方程可算出 $$\gamma = \frac{\omega ^Tx+b}{\Vert \omega\Vert} = \frac{f(x)}{\Vert\omega\Vert}$$
从上面的定义我们也可以得出函数间隔和几何间隔的关系： $\gamma = \frac{\hat\gamma}{\Vert \omega \Vert}$,所以对于几何间隔，成比例的改变 w 和 b （超平面没有改变），函数间隔也按照比例改变，而几何间隔不变。
1. 2 支持向量和间隔边界
在线性可分情况下，训练数据集的样本点与分离超平面距离最近的样本点的实例成为支持向量（support vector）。

1.3. 间隔最大
间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类，也就是说，不仅将正负实例点分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将他们分开，这样的超平面应该对未知的新实例有很好的分类预测能力。所以最大间隔分离超平面具体的，可以表示为下面的最优化问题：

$$、max_{w,b} \qquad \qquad \qquad \gamma$$ $$s.t \qquad \qquad y_i（\frac{\omega}{\Vert \omega\Vert}*x_i+\frac{b}{\Vert\omega\Vert}） \ge \gamma$$
将上面的函数间隔转变成几何间隔，及最优化问题转变成： $$min_{w,b} \qquad \frac{1}{2}\Vert\omega\Vert^2$$ $$s.t \qquad y_i(w_i*x_i+b) = 1 \ge 0,i = 1,2,3,,,N$$

对于上式的优化问题，应用拉格朗日对偶性，将问题转化为对偶问题，这样做的有点是，一对偶问题往往更容易求解，二自然引入核函数，进而推广到非线性分类问题。首先构造拉格朗日函数，

$$L(\omega,\alpha,b) = \frac{1}{2}\Vert\omega\Vert^2-\sum_{i=0}^n\alpha_iy_i(\omega*x_i+b)+\sum_{i=0}^n\alpha_i$$ ,其中 $\alpha = (\alpha_1,,,\alpha_n)$为拉格朗日乘子。根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：