SVM支持向量机算法

参考资料：http://www.cppblog.com/sunrise/archive/2012/08/06/186474.html                       http://blog.youkuaiyun.com/sunanger_wang/article/details/7887218

我的数据挖掘算法代码：https://github.com/linyiqun/DataMiningAlgorithm

介绍

svm(support vector machine)是一种用来进行模式识别，模式分类的机器学习算法。svm的主要思想可以概括为2点：(1)、针对线性可分情况进行分析。(2)、对于线性不可分的情况，通过使用核函数，将低维线性不可分空间转化为高维线性可分的情况，然后在进行分析。目前已经有实现好的svm的算法包，在本文的后半部分会给出我实现好的基于libsvm包的svm分类代码。

SVM算法原理

svm算法的具体原理得要分成2部分，一个是线性可分的情况，一个是线性不可分的情况，下面说说线性可分的情况：

线性可分的情况

下面是一个二维空间的形式：

中间的那条线就是划分的分割线，我们可以用f(X)=w*x+b,  w,x在这里都是向量的形式。向这样的分割线，只要稍稍移动一下，又会有一个正确的目标线，因此我们要找的一个目标解，当然是找出分割的临界条件。

比如上面所示的情况，最佳的分类情况，应该是上面的margin的大小最大的时候，保证了分类的最准确。这里省去了一些数学的推理证明。要使用下面这个最大化：