SVM(Support Vector Machine)_svm: support vector machine # author : yuehonggong-优快云博客

支持向量机实际上是一种二分类模型，对于给定的数据样本，支持向量机需要找出一个线性函数（即为超平面），能够将样本数据分为二类，且正负类样本之间的间隔尽可能大。

最大间隔与支持向量：

对偶问题：

可以直接求解上述函数，但是效率较低，可利用万能的拉格朗日法求解，优势如下:首先，当前处理的模型严重依赖于数据集的维度d，若d较大则会提升运算时间；其次，SVM的核心思想是将从依赖d个维度转变到依赖m个数据点，并且依据后续的稀疏处理，计算量远小于m个数据样本。训练完成后，大部分的训练样本都不再需要保留，最终模型仅与支持向量有关。

有下述条件可知：

对任意的训练样本， $\alpha ^{_{i}} = 0$ （训练完成后，该样本点可以不再保留）或者 $y^{_{i}}f(x^{_{i}}) = 1$ （此时，所对应的样本点处于最大间隔边界上，是一个支持向量）。

对于新的样本X，则 $f(X) = sgn(W^{_{T}}X+b) = sgn(b+\sum\alpha ^{_{i}}y^{_{i}}x^{_{i}^{T}}X )$ ,分类器判定时只跟支持向量有关。

核函数：

若样本线性可分或者近似线性可分，则存在一个超平面能够将样本正确分类；若样本不可分，那么必须将非线性问题转变为线性问题。若原始样本空间维度有限，即属性有限，那么一定存在一个高维特征空间使得样本线性可分。因此，可以使用映射函数，将原始样本空间映射到一个高维的特征空间，使得在该高维特征空间内样本可分，该映射函数即为核函数。

在 $f(x) = W^{^{T}}x + b =b + \sum \alpha _{i}y^{_{i}}x^{_{i}^{T}}^{}}x$ 中， $\rho (x^{_{i}},x) = x^{_{i}^{T}}x$ 即为最简单的线性核函数，此外还有高斯核函数、拉普拉斯核函数等。

那么:

软间隔与正则化：

由于噪声点或者离群点的影响，难以找出绝对的最佳超平面，此时为了保证分类器质量，在训练分类器时，引入“软间隔”，允许部分样本点不满足约束条件。与此对应，要求所有样本点均满足约束条件 $y^{_{i}}(W^{_{T}}x^{_{i}} + b)\geq 1$ 的即为“硬间隔”。为此引入松弛变量 $\xi ^{_{i}}$ ，满足 $y^{_{i}}(W^{_{T}}x^{_{i}} + b)\geq 1-\xi ^{_{i}} , \xi ^{_{i}}\geqslant 0$ 。