支持向量机

支持向量机SVM（Support Vector Machines）
SVM是Vapnike等人在上世纪九十年代初建立的一种新型的学习机器，它是在以解决小样本机器学习问题为目标的统计学习理论（SLT）的基础上发展起来的。SVM建立在SLT的VC维理论和结构风险最小化原理的基础上，根据有限的样本信息在模型的复杂度和学习能力之间寻求最佳折中，获得最好的推广能力。与传统方法相比，SVM能够有效地避免过学习、欠学习、维数灾难以及陷入局部极小值等问题，所以它成为机器学习的一个新研究热点。
支持向量机作为统计学习理论的杰出代表，在分类和模式识别等方面取得了很好的效果，将其应用到人脸识别系统中，可以提高其成功率和准确率。
1. 线性可分的支持向量机
线性支持向量机是从线性可分情况下的最优分类超平面发展而来，由于最优超平面的解最终是完全由支持向量决定的，所以这种方法后来被称为支持向量机（support vector machines）。线性支持向量机非为线性可分和线性不可分两种情况。在线性可分模式下，假设有训练样本集`
其中每个样本是d维向量，y是类别标号， w1用+1表示， w2用-1表示。样本是线性可分的，即存在超平面个g(x)=wx+b把所有样本没有错误的分开。w是垂直于超平面的可调的权向量，b是偏置，
定义：一个超平面，如果它能够没有错误的将训练样本分开，并且两类样本中离超平面最近的样本与超平面之间的距离是最大的，则把这个超平面成为最有分类超平面（optimal separating hyperplane）。两类样本中离匪类面最近的样本到分类面的距离称为分类间隔，最有超平面也称为最大间隔超平面，如图所示

最优超平面对应的分类决策函数为