《常用的机器学习算法——SVM浅析》

1、线性可分的SVM和硬间隔（Hard Margin）最大化
2、线性可分的SVM和软间隔（Soft Margin）最大化
3、非线性SVM与核函数
4、SMO算法

ch1、线性可分的SVM和硬间隔最大化

1、问题描述

1）问题描述：给定一系列的样本（x1,y1）,（x2,y2）,…,（xn,yn）,其中xi是m维向量，yi属于{-1,+1}。
2）最终目的：找到一个分隔面w*x+b=0，判别函数f(x)=sign(w*x+b)；使得能够将样本集中的数据正确划分；
3）存在问题：存在多个满足上述分隔条件的超平面。
4）解决思路：要引入间隔最大化的约束。间隔指的是最近（样本）点到分隔平面距离的两倍。

2、函数间隔与几何间隔

1）函数间隔：

函数的间隔可以表示分类预测的正确性及确信度。但是函数的间隔当w和b成比例（2倍）增加的时候，超平面并没有改变，而函数间隔却变成了2倍。所以要进行规范化。令||w||=1；

2）几何间隔