Object Recognition and Scene Understanding（三）SVM

支持向量机，多年以来在模式识别上的最大发现，当然其利用核函数来寻找最优的分类的思路存在一定的局限性，但一定程度上解决了很多问题。关于支持向量机在模式识别领域的前世今生，可以参考谭铁牛等的论文。关于libsvm就去看台湾大牛的网页吧，faruto在如何应用libsvm上也有出彩的介绍。这里就不一一列出了。

 

1.之前的一些介绍

libsvm的安装，参考我之前发的小文Matlab安装使用libsvm：http://blog.youkuaiyun.com/loadstar_kun/article/details/7712308

机器学习可用的数据库：机器学习UCI数据库：http://blog.youkuaiyun.com/loadstar_kun/article/details/7712327

 

2. 支持向量机简单介绍

http://blog.youkuaiyun.com/carson2005/article/details/6453502

支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。

    支持向量机是利用分类间隔的思想进行训练的，它依赖于对数据的预处理，即，在更高维的空间表达原始模式。通过适当的到一个足够高维的非线性映射，分别属于两类的原始数据就能够被一个超平面来分隔。如下图所示：

       

空心点和实心点分别代表两个不同的类，H为将两类没有错误的区分开的分类面，同时，它也是一个最优的分类面。原因正如前面所述，当以H为分类面时，分类间隔最大，误差最小。而这里的之间的距离margin就是两类之间的分类间隔。支持向量机将数据从原始空间映射到高维空间的目的就是找到一个最优的分类面从而使得分类间隔margin最大。而那些定义最优分类超平面的训练样本，也就是上图中过的空心点和实心点，就是支持向量机理论中所说的支持向量。显然，所谓支持向量其实就是最难被分类的那些向量，然而，从另一个角度来看，它们同时也是对求解分类任务最有价值的模式。

    支持向量机的基本思想可以概括为：首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的内积函数来实现的。支持向量机求得的分类函数形式上类似于一个神经网络，其输出是若干中间层节点的线性组合，而每一个中间层节点对应于输入样本与一个支持向量的内积，因此也被叫做支持向量网络。如下图所示：

由于最终的判别函数中实际只包含于支持向量的内积和求和，因此判别分类的计算复杂度取决于支持向量的个数。

不难发现，支持向量机作为统计学习理论中的经典代表使用了与传统方法完全不同的思路，即不是像传统方法那样首先试图将原输入空间降维（即特征选择和特征变换），而是设法将输入空间升维，以求在高维空间中问题变得线性可分或接近线性可分。因为升维知识改变了内积运算，并没有使得算法的复杂性随着维数的增加而增加，而且在高维空间中的推广能力并不受到维数的影响。     

    另外，需要说明的是，支持向量机采用不同的内积函数，将导致不同的支持向量机算法

目前得到研究的内积函数主要有以下三类：

（1）采用多项式形式的内积函数；

（2）采用核函数形式的内积函数；

    （3）采用S形函数作为内积函数；

 

3. 利用SVM做手写字符识别

参考之前博文：学习OpenCV——SVM 手写数字检测：http://blog.youkuaiyun.com/loadstar_kun/article/details/7718120