机器学习——SVM算法

支持向量机（SVM）定义：

1、线性可分支持向量机：

给定线性可分的训练数据集，通过（硬）间隔最大化或者等价的求解相应的凸二次规划问题学习得到的分离超平面为：w∗x+b=0w∗x+b=0
以及相应的分类决策函数： f(x)=sign(w∗x)+bf(x)=sign(w∗x)+b。

2、线性支持向量机

给定线性不可分的训练数据集，通过软件间隔最大化或者等价的求解相应的凸二次规划问题学习得到的分离超平面为：w∗x+b=0w∗x+b=0
以及相应的分类决策函数： f(x)=sign(w∗x)+bf(x)=sign(w∗x)+b。

3、非线性支持向量机

从非线性分类训练集，通过核函数与软间隔最大化，或者凸二次优化，学习得到的分类决策函数
f(x)=sign(∑i=1NαiyIK(x,xi)+b)f(x)=sign(∑i=1NαiyIK(x,xi)+b)
其中，K(x,z)K(x,z) 是正定核函数。

总结（个人）：SVM算法就是为找到距分类样本点间隔最大的分类超平面(w, b)。

SVM算法：