1. 线性可分的支持向量机
1.1 支持向量机(SVM)基本型
对于给定的在样本空间中线性可分的训练集,我们有多重办法对其进行划分,以二分类问题为例,如图:
红线和黑线(超平面)都能将两类样本很好的划分开,但是当新样本进入时,黑线比红线更加有可能正确划分新的样本,换句话说:越位于两类样本“中心”的划分超平面越能够容忍样本的局部扰动,其的泛化能力越好。
基于以上思想,我们准备求解最优超平面。
首先,记超平面的线性方程为,其中
为法向量。根据点到直线的距离公式,得到样本空间任一点x超平面的距离可以写成
。
接着,为了方便计算,我们将两类样本使用正类和负类表示,即若,则
;若
,则
,能够使得等号成立的样本向量称之为“支持向量”,因为它们是离超平面最近的训练样本,它们确定了两个类别之间的“间隔”。
然后,找到最优超平面也就转换成寻找“最大间隔”问题,即
(