(一)线性可分的情况
支持向量机是一个非常经典的二分类算法。假设有一组数据,这组数据由两种类别组成。要画一条直线将其分开,可以有无数条。那这些直线哪条是最好的呢。
如果把上面的点想象成地雷,士兵要从他们中间开辟一条道路。这条道路当然是越宽越好了(中线离雷区越远越好)。
上面这两张图,明显右边的哪条分界线要好一点。既然要选出离雷区远的边界,那就要计算点到超平面(二维空间下是直线)的距离。
超平面的方程为,w为这个超平面的法向量,
是超平面上的一点。由此可以得出
。要求点X到该超平面的距离,可以先求出X到
的距离,然后在投影到法向量。复习一下向量投影公式
向量a·向量b=| a |*| b |*cosΘ
Θ为两向量夹角
| b |*cosΘ叫做向量b在向量a上的投影
| a |*cosΘ叫做向量a在向量b上的投影
距离公式为:
假设有数据集:(X1,Y1)(X2,Y2)… (Xn,Yn)
Y为样本的类别: 当X为正例时候 Y = +1 当X为负例时候 Y = -1
决策方程:
(其中是对数据做了变换,后面继续说)
如果决策方程大于0,将其分类为正例,反之分类为负例
因此点到超平面的距离可写为
,
(由于 所以将绝对值展开原始依旧成立,这就是几何距离,其中分子又单独称为函数距离
我们的优化目标是找到一个超平面(w,b),使得离这个超平面最近的点能够最远,这里比较难理解,但这是看懂后面内容的基础。
优化目标:
我们可以把w,b同时缩放