机器学习-支持向量机(python3代码实现)

支持向量机

哈尔滨工程大学-537

算法原理：

一、寻找最大间隔

如下图所示，用一条分割线将两类点分割开来(二维的是一条分割线，多维的就是分隔面)，显然三条线都能将两类点分割开来，然而，从直观来看，红色的分割线显然分割效果最好。为什么这么说呢？

因为红色的分割线到两边最近的点的距离更远。可以直观把两边的两类点想象成地雷，我们有一支红军要通过这片雷区，显然，沿着绿色和灰色的路线行军，两边不会踩到地雷的安全区域非常的窄，而沿着红色的路线行军，安全区域明显更宽。我们的目的就是要找到能够使安全区域最宽的行军路线，最终使红军夺得革命战争的胜利。

如下图所示，距离分割线最近的几个点的位置，决定了分割线的位置，形象的来说，就是距离红军队伍最近的几个地雷的位置，决定了红军穿过雷区的行军路线，如果距离红军最近的地雷的位置发生改变，红军的行军路线就必须随之改变，否则安全区域就有可能变窄，踩到地雷的可能性就会增加。

那么此时要解决的目标就非常明确了，即找到距离分割线最近的那几个点，而这几个距离分割线最近的点，就叫做支持向量，这就是支持向量机一词的由来。
那么如何找到距离分割线最近的那几个点？

由高中数学可知：空间中一个点$(x_1,y_1,z_1)$到平面线$ax+by+cz+d=0$ 的距离为：$\frac{ax_1+by_1+cz_1+d}{\sqrt{a^2+b^2+c^2}}$ ；

扩展为多维的情况，点$X^i=(x^i{_1}, x^i{_2}...x^i{_k})$到一个超平面$W{^T}X+b=0$的距离为：$\frac{W{^T}X{^i}+b}{||W||}$，其中$W$和$X$为$k$维向量(因为$X^i$有$k$个特征)。

于是当前的任务就是要找到$\frac{W{^T}X{^i}+b}{||W||}$值最小的数据点，将该点的$\frac{W{^T}X{^i}+b}{||W||}$最大化，此时的$W$和$b$就是我们要找的最优分割超平面的参数。

由高中数学可知：若点$(x_1,y_1)$在直线$y=ax+b$的上侧，则将点$(x_1,y_1)$带入直线得$ax_1+b-y_1>0$，反之，若在下侧，则带入直线得$ax_1+b-y_1<0$;

推广到多维的情况：若数据点$X^i$在超平面正侧，${W{^T}X{^i}+b}>0$，那么将在这一侧的数据点定义为1类，即类别标签$y^i$为1，那么$y{^i}{(W{^T}X{^i}+b)}>0$；
反之，若数据点$X^i$在超平面的负侧，${W{^T}X{^i}+b}<0$,那么将这一侧的数据点定义为-1类，即类别标签$y^i$为-1，那么$y{^i}{(W{^T}X{^i}+b)}>0$ ， 这样在比较大小的时候，就避免了负数的出现。

那么此时，首要任务就是找到$\frac{y^i(W{^T}X{^i}+b)}{||W||}$最小的数据点，并将该点的$\frac{y^i(W{^T}X{^i}+b)}{||W||}$值最大化。

若限制$y^i(W{^T}X{^i}+b)\geq1$，则距离超平面最近的点的$y^i(W{^T}X{^i}+b)$应等于1，而$||W||$则越大，说明该点离超平面越近。

如下图，可以更加直观的理解以上说法，虚线$W^TX+b-1=0$和虚线$W^TX+b+1=0$分别是两条与直线$W^TX+b=0$平行的直线(由高中数学可知,$W^TX+b-1=0$在直线上侧，$W^TX+b+1=0$在直线下侧)，通过归一化系数W，可以使最后的常数一直保持+1和-1，也就是说，这两条虚线可以在平面上任意移动，而始终保持$W^TX+b-1=0$和$W^TX+b+1=0$的形式。那么现在的要求就是，让这两条虚线之间的距离最大，且要保证所有点都在这两条虚线之外(或在虚线之上)，即1类样本点都在$W^TX+b-1=0$的正侧(或在线上)，即$W^TX_i+b-1\geq0$；而-1类样本点都在WTX+b+1=