20 个世纪90 年代Vapnik等人提出了支持向量机(SVM) 算法,它是一种基于统计理论的学习方法,其日的是为了改善神经网络学习方法的不足。目前SVM已经广泛应用于数据挖掘、模式识别等领域。支持向量机在机器学习领域有着重要的地位,其集最大间隔的超平面、凸二次规划问题、核分析方法等多种技术于一身,具有广阔的发展和应用前景。支持向量机从当初被提出,经过Dual、Smith等人的逐步完善,Vapnik在《统计学习理论》的论著中论证了SVM算法优于归纳推理给出的误差率的界。大量研究表明SVM 算法是一种非常有效的学习方法,它能够在高维特征空间得到优化的泛化界的超平面,能够使用核技术从而避免局部最小,通过间隔和限制支持向量的个数控制容量来防止过拟合。目前,SVM技术已经应用于各个领域,理论与实践都得到了充分的发展,在人脸识别,目标识别,文本识别等都有SVM 技术的成功应用。
SVM算法是统计学习理论的一种实现方式。最基本思路就是要找到使测试样本的分类错误率达到最低的最佳超平面,也就是要找到一个分割平面,使得训练集中的训练样本距离该平面的距离尽量的远,该分割平面两侧的空白区域(margin)最大。超平面为: