带松弛变量的SVM

线性支持向量机的软间隔最大化模型

不完全线性可分

实际问题中，数据不一定完全线性可分。

数据线性可分，但间隔小

左图：少量样本被错分但间隔大
右图：样本被完全分对，但间隔小

样本完全线性可分时：$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$

实际问题中，数据未必完全线性可分，因此有了软间隔(soft margin)的概念，它允许样本分错，即允许样本不满足约束，落实到约束条件，引入松弛变量(slack variables)${\xi }_i\ge 0$，使得
$$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i$$
当然我们不希望约束放得太松，因此会要求${\xi }_i$尽可能低，反映到优化问题本身，就变成下面的数学形式：
$$\begin{array}{rl}& \underset{\mathbf{w},b,C}{\min }\frac{1}{2}||\mathbf{w}|{|}_2^2+C\sum _{i=1}^N{\xi }_i\\ s.t.y_i({\mathbf{w}}^T& {\mathbf{x}}_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
参数$C>0$是惩罚项系数，它控制间隔和松弛变量惩罚项之间的平衡，$C$越大，对误分类的惩罚越大，反之，则误分类的惩罚越小。实际应用中，参数$C$需要调参确定。

现在的优化目标变为：间隔尽可能大的同时样本被误分类的程度尽可能小。

软间隔最大化目标函数的优化

和硬间隔线性可分SVM的优化方式类似，先用拉格朗日乘子法，将目标函数变成：
$$L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=\frac{1}{2}||\mathbf{w}|{|}_2^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1+{\xi }_i]-\sum _{i=1}^N{\mu }_i{\xi }_i$$
使优化问题变为
$$\begin{array}{rl}& \underset{\mathbf{w},b,\mathbf{\xi }}{\min }\underset{\mathbf{\alpha },\mathbf{\mu }}{\max }L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })\\ s.t.& {\xi }_i\ge 0,i=1,2,\cdots ,N\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\\ & {\mu }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
优化问题满足KKT条件，可以等价为对偶问题
$$\begin{array}{rl}& \underset{\mathbf{\alpha },\mathbf{\mu }}{\max }\underset{\mathbf{w},b,\mathbf{\xi }}{\min }L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })\\ s.t.& {\xi }_i\ge 0,i=1,2,\cdots ,N\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\\ & {\mu }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
先求目标函数的极小化问题，$L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })$对参数求偏导得：

$$\{\begin{array}{rl}& \frac{\partial L}{\partial \mathbf{w}}=0\Rightarrow \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i\\ & \frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C-{\alpha }_i-{\mu }_i=0\end{array}$$
令
$$\psi (\mathbf{\alpha },\mathbf{\mu })=\underset{\mathbf{w},b,\mathbf{\xi }}{\min }L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })$$
把以上偏导结果代回$L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })$，有
ψ ( α , μ ) = 1 2 ∣ ∣ w ∣ ∣ 2 2 + C ∑ i = 1 N ξ i − ∑ i = 1 N α i [ y i ( w T x i + b ) − 1 + ξ i ] − ∑ i = 1 N μ i ξ i = 1 2 ∣ ∣ w ∣ ∣ 2 2 + ∑ i