软间隔支持向量机

1. 软间隔

前文中讲到的线性支持向量机默认样本数据集是线性可分的，即存在一个超平面能将两个类别的数据完全分开。然而，现实任务的样本很难找到合适的核函数来使得样本在特征空间中线性可分。解决该问题的思路是：允许出现一些错误，并且要使得间隔最大的同时,错误最小化。

上图是软间隔的示意图，红色圈出来的点是分类错误的点，在错误最小化的同时也能找到间隔最大的超平面。对比之下，我们知道线性支持向量机要求所有样本都分类正确，即：
$$\begin{array}{r}{y}_i(w^T{x}_i+b)\ge 1\end{array}$$
这个称为“硬间隔”。所谓“软间隔”就是要求不要那么严格，允许出现少量的样本会分类错误。当然也不能太“软“”，所以软间隔支持向量机的目标是最大化间隔的同时分错的点尽可能少，即目标函数为：
$$\begin{array}{r}mi{n}_{[w,b]}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^{m}Loss(z)\end{array}$$

2. 软间隔SVM模型

引入损失函数后，模型可以度量分类错误的程度大小,而软间隔SVM采用hinge损失：$Loss(z)=max(0,1-z)，z=y_i(w^T{x}_i+b)$。此时，目标函数改写为：
$$\begin{array}{r}mi{n}_{[w,b]}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^{m}max(0,1-y_i(w^T{x}_i+b))\end{array}$$
C > 0是惩罚系数，表示损失的权重。C无穷大时，要使得损失最小，只能使得$max(0,1-y_i(w^T{x}_i+b))=0$，即所有样本都要分类正确；C为0时，引入的损失毫无意义；故而C为一定值时，允许一些样本分类错误。

如果我们令${\sum }_{i=1}^{m}max(0,1-y_i(w^T{x}_i+b))={\sum }_{i=1}^m{\xi }_i$，可能出现两种情况：

• $y_i(w^T{x}_i+b)\ge 1$时，即样本不会分错，那么${\xi }_i=0$
• otherwise,样本会分错，那么${\xi }_i=1-y_i(w^T{x}_i+b)>0$

称${\xi }_i\ge 0$为松弛变量，那么目标函数可以改写为：
$$\begin{array}{r}mi{n}_{[w,b]}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\end{array}$$
${\xi }_i=0$时，样本满足约束$y_i(w^T{x}_i+b)\ge 1$
${\xi }_i>0$时，样本满足$y_i(w^T{x}_i+b)=1-{\xi }_i$

综上，得到软间隔SVM模型：
$$\begin{array}{rl}& mi{n}_{[w,b]}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & \\ & s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0\end{array}$$
显然，这个模型依然是个二次规划问题，我们下一步求解它的对偶问题。

3. 软间隔SVM的对偶问题

设拉格朗日辅助函数：
$$\begin{array}{rl}L(w,b,\alpha ,\xi ,u)=& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & +\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i(w^{}\end{array}$$