简化版_线性可分支持向量机的推导

线性可分支持向量机

  支持向量机是一种二分类模型，它的基本想法就是：基于训练集和样本空间找到一个最好的划分超平面。在样本空间中，划分超平面可用$w^{T}x+b=0$表示，记为(w,b)。样本点$(x_i,y_i)$到划分超平面的函数间隔：$\hat{\gamma }=y_i(w\ast x_i+b)$，几何间隔为：$\gamma =\frac{\hat{\gamma }}{\Vert w\Vert }$。
  支持向量机的基本思想是：求解能够正确划分训练数据集并且几何间隔最大的分离超平面，表达为数学公式即为：
$$\underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert }$$
s.t. $$y_i(w\ast x_i+b)\ge \hat{\gamma },i=1,...,N$$

由于$\hat{\gamma }$的取值并不影响最优化问题的解，且最大化 $\frac{1}{\Vert w\Vert }$等价于最小化 $\frac{1}{2}\Vert w\Vert$，便可得线性可分的支持向量机的最优化问题：
$$\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2$$
s.t.
$$y_i(w\ast x_i+b)-1\ge 0,i=1,2,...,N$$
这是一个凸二次优化问题，可以直接求解。但是为了方便，应用拉格朗日对偶性，求解它的对偶问题。

学习的对偶算法

  首先建立拉格朗日函数，为每个不等式约束，引进拉格朗日乘子，${\alpha }_i\ge 0,i=1,...,N$，定义拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2-\frac{1}{2}{\alpha }_i{y}_i(w\ast x_i+b)+\sum _{i=1}^N{\alpha }_i$$根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题，即：$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$
  首先，我们来求最小，令$L(w,b,\alpha )$分别对w和b求导为零，可得：

将其代入拉格朗日函数，可得：


解出 alpha 之后,那么w,b也相应得到了，也就得到了分离超平面的方程：
$$f(x)=\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i(x{x}_i)+b^{\ast }$$
  原始问题是凸二次规划问题，解满足下面的KKT条件：

发现：对于任意训练样本$(x_i,y_i)$，总有${\alpha }_i=0$或者$y_{i}f(x_i)=1$，也就是说最终与模型有关的的样本点都位于最大间隔的边界上，我们称之为支持向量。