1.SVM算法推导-线性可分时

问题

已知样本为$[x_1,x_2...x_n]$，样本标签为$[y_1,y_2...y_n],y_i=0,1$。试通过SVM法求最好分隔样本的超平面，写出其计算过程。

1构造优化问题

解：假设存在一个超平面$wx+b=0$能完全分隔样本，则通过尺度收缩总能找到两个超平面$wx+b=-1$和$wx+b=1$，使样本在平面上或平面外侧，如下图所示。

即满足:

$$y_i(w{x}_i+b)\ge 1\text{\hspace{1em}(1)}$$

但对线性可分的训练数据集而言，使其线性可分的超平面有无穷多个，那么我们该如何选择这两个平面呢？

我们希望我们找的2个平面能最好分隔样本点，那么什么才是最好分隔呢？不难想象，使这两个平面的距离尽可能大，则两类样本的差异就越明显，分类效果最好。即目标是：

$$maxd\text{\hspace{1em}(2)}$$

其中d为两个分隔面之间的距离，这样的平面只有一个。

记$x_1,x_2$分别是$wx+b=-1$和$wx+b=1$上的两点，且垂直于两个平面$x_1{x}_2$，即$||x_1{x}_2||=d$。
因为:
$$x_1{x}_2=x_2-x_1=\lambda w\text{\hspace{1em}(3)}$$

(3)式代入$w{x}_2+b=1$可得：

$$w(x_1+\lambda w)+b=1\text{\hspace{1em}(4)}$$

代入$w{x}_1+b=-1$到(4)式可得：

$$\lambda w^2=2\text{\hspace{1em}(5)}$$

从而得：
$$\max d=\max |x_2-x_1|=\mathrm{m}\mathrm{a}\mathrm{x}\lambda \Vert w\Vert =\max \frac{2}{w^2}\Vert w\Vert =\max \frac{2}{\Vert w\Vert }$$

等价于$\min \frac{w^2}{2}$。

即原问题变为凸优化问题：

$$\min \frac{w^2}{2}\text{\hspace{1em}(6)}$$

$$st:y_i(w{x}_i+b)\ge 1,i=1,..N$$

2拉格朗日对偶求解

构建拉格朗日函数：
$$L(w,b,\alpha )=\frac{w^2}{2}+\sum _{i=1}^N{\alpha }_i(1-y_i(w{x}_i+b))\text{\hspace{1em}(7)}$$

其中${\alpha }_i\ge 0$为拉格朗日乘子。

根据拉格朗日对偶性，原问题的对偶问题是最大最小值问题：

$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\text{\hspace{1em}(8)}$$

首先求解${\min }_{w,b}L(w,b,\alpha )$，对w求梯度，令其为0：
$${\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$
$${\nabla }_{b}L(w,b,\alpha )=\sum _{i=1}^N{\alpha }_i{y}_i=0$$
可得：
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(9)}$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(10)}$$

把(9)(10)代入(7)式可得：
$$\begin{array}{l}\min L(w,b,\alpha {)}_{w,b}=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)x_i)-b\sum _{i=1}^N{\alpha }_i{y}_i\\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i\end{array}$$

然后求$minL(w,b,\alpha {)}_{w,b}$对$\alpha$的极大，即是对偶问题：
$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(11)}$$
$$s.t:\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0,i=1,...N$$
上式等价于：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j-\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(12)}$$
$$s.t:\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0,i=1,...N$$

(12)式是(6)式的对偶问题。
最后，使用SMO算法（序列最小最优化）即可求出对偶问题的解${{\alpha }_i}^{\ast }$，再通过（9）和（10）式可得到原问题的解$w^{\ast }$和$b^{\ast }$，从而得到最优超平面$w^{\ast }x+b^{\ast }=0$，即$\sum _{i=1}^N{{\alpha }_i}^{\ast }{y}_i(x_{i}x)+b^{\ast }=0$。得到分类决策函数：
$$f(x)=sign(\sum _{i=1}^N{{\alpha }_i}^{\ast }{y}_i(x_{i}x)+b^{\ast })\text{\hspace{1em}(13)}$$