[支持向量机SVM] 西瓜书+个人理解 【1.基本形式】

支持向量机的基本型

给定训练样本集 D = {(x1,y1), (x2,y2 ),…, (xm, ym)}, yi ∈｛-1，+1｝，分
类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。
在样本空间中，划分超平面可通过如下线性方程来描述：

其中ω ＝（ω 1; ω 2; … ;ω d） 为法向量，决定了超平面的方向， b 为位移项，决定了超平面与原点之间的距离．显然，划分超平面可被法向量ω 和位移b 确定。
下面我们将其记为（ω ，b）．样本空间中任意点m到超平面（ω ，b）的的距离可写为

理解1： ||ω ||为向量的的模（当w为二维的时候我们可以参考点到直线的距离公式）。从正则化的角度来看，可以是L0范数llωllo,L1范数llωll1和L2范数llωll2，其中L2范数倾向于ω的分量取值尽量均衡，即非零分量个数尽量稠密，而Lo范数和L1范数则倾向于ω 的分量尽量稀疏。即非零分量个数尽量少。

理解2：
我们的目的是找到一个超平面能很好地分割+1和-1这两类，我们让y=+1类的点位 于超平面的上侧（参考二维的情况）也就是满足：
同理y=-1类的点满足：
我们可以通过一致地调整ω和b这两个参数，使得其满足：
取等于的点就是我们所说的支持向量。我们以二维的ω为例
于是我们可以通过这样缩放调整到将支持向量代入正好值为+1或-1的情况。以便于以后的计算。

两个异类支持向量到超平面的距离之和为:

理解3:这个我们可以由点到直线或者平面的距离得到，由于我们的缩放调整，所以将支持向量代入超平面公式的结果的绝对值是1，所以两倍的支持向量到超平面的距离就是上式。

理解4：这里之所以将最大化的问题转化成最小化的问题是便于以后求解。