支持向量机SVM

参考：

http://www.cnblogs.com/CheeseZH/p/5265959.html

http://blog.sina.com.cn/s/blog_5eef0840010147pa.html

http://www.cppblog.com/sunrise/archive/2012/08/06/186474.html

关键词：最大间隔分类器，支持向量，svm公式推导，拉格朗日 kkt条件 对偶问题 smo算法 常用核函数 rbf核函数 01损失 hinge损失 软间隔 松弛变量 多分类 libsvm参数

svm公式推导

原问题：

通过拉格朗日对偶性（Lagrange Duality），求解与原问题等价的对偶问题（dual problem）得到原始问题的最优解。这样做的优点在于：一者对偶问题往往更容易求解；二者可以自然的引入核函数，进而推广到非线性分类问题。

    然后令

目标函数变成了：

 这里用表示这个问题的最优值，且和最初的问题是等价的。如果直接求解，那么一上来便得面对w和b两个参数，而又是不等式约束，这个求解过程不好做。不妨把最小和最大的位置交换一下，变成：

    交换以后的新问题是原始问题的对偶问题，这个新问题的最优值用来表示。而且有≤，在满足某些条件的情况下，这两者相等，这个时候就可以通过求解对偶问题来间接地求解原始问题。

    换言之，之所以从minmax的原始问题，转化为maxmin的对偶问题，一者因为是的近似解，二者，转化为对偶问题后，更容易求解。

对偶问题求解的3个步骤

（1）、首先固定，要让  L  关于  w  和  b  最小化，我们分别对w，b求偏导数，即令  ∂L/