软间隔支持向量机

1. 首先考虑硬间隔支持向量机：
   $\underset{w}{\min }\frac{1}{2}||w|{|}^2$
   $s.t.y_i(w^T{x}_i+b)\ge 1,i=1,..,m$
   在某些样本不满足约束条件的情况下，因此松弛因子${\xi }_i$.
   对于满足约束条件的样本有：
   $y_i(w^T{x}_i+b)\ge 1$,且${\xi }_i=0$(没必要松弛)。
   对不不满足约束条件的样本由：
   $y_i(w^T{x}_i+b)<1$,且${\xi }_i=1-y_i(w^T{x}_i+b)>0$。
   即$y_i(w^T{x}_i+b)+{\xi }_i=1$
   合并两种情况得：
   $y_i(w^T{x}_i+b)+{\xi }_i\ge 1$, ${\xi }_i\ge 0,i=1,...,m$
   但是${\xi }_i$作为处理某些异常样本的手段，显然${\xi }_i$不能无限大。因此在原优化目标加入惩罚项：$\sum _{i=1}^m{\xi }_i$。
   则可得软间隔支持向量机：
   $\underset{w}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i(1)$
   $s.t.y_i(w^T{x}_i+b)+{\xi }_i\ge 1$, ${\xi }_i\ge 0,i=1,...,m$
   其中C常数惩罚因子。
   需要注意的是$b$的解不唯一，是一个连续区间。

2. 经过拉格朗日乘子法以及对偶性可得对偶优化问题：
   $\underset{{\alpha }_i}{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i$
   $s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$
   $0\le {\alpha }_i\le C$
   $i=1,...,m$
   与硬间隔支持向量机相比，不同点在于${\alpha }_i$加了个$C$约束。

3. 损失函数角度理解软间隔支持向量机
   观察软间隔支持向量机优化目标式(1)，实际上有:
   ${\xi }_i=max(0,1-y_i(w^T{x}_i+b))$,
   上式实际为合页(hinge)损失函数，所以式(1)第二项可以理解为风险损失，式(1)第一项为结构损失。如果替换合页损失函数为log损失函数，则得到与逻辑回归非常类似的优化目标。他们的性能也相近。但是正是由于合页损失函数的存在，使得软间隔SVM的解更稀疏，求解更高效。