支持向量机（SVM算法）和软间隔支持向量机概述

支持向量机（SVM算法）和软间隔支持向量机概述

(01)决策边界：实现雷区与边界距离最大化（雷区就是边界上的点，找large margin）

(02)距离的计算：

注：

第一步：构造超平面关系式：W^{Tx+b=0得到W}T*(x"-x’)=0,即W⊥(x’’-x’)。(W为向量，采用转置便于计算)

第二步：dist(x,h)即为(x-x’)在W的单位方向上映射的模长。

(03)数据标签定义：

Y为样本的类别：

​ 当X为正例的时候Y=+1，当X为负例的时候Y=-1。

引入决策方程：

∮(x)为x的求和变换。

然后推导得到yi*y(xi)>0,过程如图:

目的：去除 括号外面的绝对值。

得到优化后的distance(x,b,w)距离公式：

优化目标：

即：使离边界最近的点到边界的距离最大化。

通过放缩，使 的值≧1，所以min(yi(W^T*∮(xi)+b))=1。

最终的目标函数：

内层函数已实现最小化，后面即对进行最大化求解。

(04)目标函数的变换处理:

目标函数max→min转换：

将 转换为 ，

且约束条件为： 。

采用拉格朗日乘子法求解：

拉格朗日乘子法——不等式约束条件下的求解转换：

对目标函数和约束条件进行整体的变换：

将原约束条件 :

转换为 :

因此将原式：

变换为拉格朗日乘子式：

而目标为：

(05)SVM求解：

于是根据对偶性质，进行转换：

进行转换为。

第一步:对Min L(w,b,α)极小值求解：

然后 分别对w,b进行求偏导，求极小值点：

并将等式带回 进行进一步化简：

当前状态：完成对 的求解工作！

第二步：对Max L(w,b,α)进行极大值求解：

将

转换为：

且 。(最终SVM计算式及约束条件)

附KTT条件转换解释：

(06)SVM实例：

数据为：

由约束条件 得到约束条件式为：，

然后根据 对L(α,x,y)进一步计算：

结合 进行最终的化简：

（注：化简式形式不唯一）

然后对α1，α2求偏导，得到极小值点：，但不符合 的条件，舍去结果。

根据函数的极值分布特点，所以极值点在边界点(α1=0，或α2=0处):

将α1=0带回原式对α2求极值点得到α2=-2/13(不符合舍去)；将α2=0带回原式对α1求极值点得到α1=0.25(符合条件)；

于是最终(α1，α2，α3)等于(0.25,0,0.25)。

由 计算w：

w=1/4x1x(3,3)+1/4x(-1)x(1,1)=(1/2,1/2)

由计算b：

b=1-(1/4x1x18+1/4x(-1)x6)=-2(这一步计算，我自己也不懂，希望会的评论教我一下。)

最后得到最终的平面方程：

0.5x1+0.5x2-2=0

支持向量：真正发挥作用的数据点，α不为0的点（x1,x3）。

(07)软间隔(soft-margin):

如图：

注：soft-margin便于边界的泛化，具有一定的松弛度，更为合理。

加入松弛因子：

新的目标函数：

注：当C↑，ξi必须减小，即松弛度降低，对分类准确要求更加严格。

​ 当C↓，ξi可大可小，对分类准确要求更加放松。

新的拉格朗日乘子式：

新的最终求解式及约束条件：

(08)核函数变换：

提升维度-解决低维不可分问题：

应用实例：

附采用高斯函数映射示意图：

附软间隔向量机详解博客链接：

   https://blog.youkuaiyun.com/JasonDing1354/article/details/45206985