软间隔最大化SVM

软间隔最大化SVM

假设有训练集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } T=\{(x_1, y_1),(x_2, y_2),...,(x_m, y_m)\} T={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}
其中 y i ∈ { − 1 , + 1 } y_i \in \{-1, +1\} yi​∈{−1,+1}。再假设数据集线性不可分，即数据中存在一些异常值(离群点)，若去除这些异常值，剩下的大部分样本仍然线性可分。

对于线性可分的情况，样本点都满足下面的条件$y_i(w^T{x}_i+b)\ge 1$。而线性不可分意味着某些样本不满足函数间隔大于等于1的约束条件，我们引入变量$loss$用于表示样本偏离$y_i(w^T{x}_i+b)\ge 1$的距离。

如果$y_i(w^T{x}_i+b)\ge 1$，则$loss=0$。

如果不满足条件，即$y_i(w^T{x}_i+b)<1$时，则必须加上loss才能最低限度的符合条件：$y_i(w^T{x}_i+b)+loss=1$，因此$loss=1-y_i(w^T{x}_i+b)$。

于是有：
l o s s = max ⁡ { 0 , 1 − y i ( w T x i + b ) } loss = \max\{0, 1-y_i(w^T x_i +b) \} loss=max{0,1−yi​(wTxi​+b)}
为此，我们可以引入松弛变量${\xi }_i\ge 0$用于表示loss，使得函数间隔加上松弛变量后始终满足大于等于1的条件：
$$y_i(w^T{x}_i+b)+{\xi }_i\ge 1$$
于是约束条件可以变为：
$$1-{\xi }_i-y_i(w^T{x}_i+b)\le 0$$
加入松弛变量后，样本到超平面的函数距离的要求放松了，在预期的函数间隔内允许一定程度上的误分类情况，因此称之为软间隔。同时，对引入的每个松弛变量都加上一定大小的惩罚，得到软间隔最大化的SVM学习条件如下：
$$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i$$
其中，C为惩罚系数，用于指定对误分类情况的惩罚力度。也就是说，我们希望$\frac{1}{2}||w|{|}^2$尽量小的同时，误分类点也尽可能的少，C用于协调二者。最终得到凸二次规划的问题为：
$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & s.t.1-{\xi }_i-y_i(w^T{x}_i+b)\le 0(i=1,2,...m)\\ & {\xi }_i\ge 0(i=1,2,...m)\end{array}\text{\hspace{1em}(1)}$$

学习的对偶算法

首先用拉格朗日函数转化原始的约束问题为无约束问题：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i[1-{\xi }_i-y_i(w^T{x}_i+b)]+\sum _{i=1}^m{\mu }_i(-{\xi }_i)$$
其中${\alpha }_i\ge 0，{\mu }_i\ge 0$ 均为拉格朗日乘子。于是要优化的目标函数为：
$$\underset{w,b,\xi }{\min }\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\max }L(w,b,\alpha ,\xi ,\mu )$$
本问题满足KKT条件，转换为对偶问题可得：
$$\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\max }\underset{w,b,\xi }{\min }L(w,b,\alpha ,\xi ,\mu )$$
首先是优化函数的$w,b,\xi$求极小值，对变量求偏导得：
$$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(2)}$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0\text{\hspace{1em}(3)}$$

$$\frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C-{\alpha }_i-{\mu }_i=0\text{\hspace{1em}(4)}$$

将求导结果代入拉格朗日函数得到：
$$\begin{array}{rl}L(w,b,\xi ,\alpha ,\mu )& =\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i[1-{\xi }_i-y_i(w^T{x}_i+b)]+\sum _{i=1}^m{\mu }_i(-{\xi }_i)\\ & =\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]+\sum _{i=1}^m{\alpha }_i{\xi }_i\\ & =\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1]\\ & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-w^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i{)}^T(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i)-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{y}_i{x}_i^T{\alpha }_j{y}_j{x}_j+\sum _{i=1}^m{\alpha }_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$
将(3)代入第一行即可得到第二行；第二行消去$\sum _{i=1}^m{\alpha }_i{\xi }_i$得到第三行；第三行与线性可分的SVM一样，所以最后计算结果和线性可分的SVM也一样，唯一不同的只是约束条件。

继续对式子求极大：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ C-{\alpha }_i-{\mu }_i=0 \\ {\alpha }_i\ge 0(i=1,2,...,m) \\ {\mu }_i\ge 0(i=1,2,...,m) \end{gathered}$$
对于$C-{\alpha }_i-{\mu }_i=0，{\alpha }_i\ge 0，{\mu }_i\ge 0$有：
$$\begin{array}{rl}& C-{\alpha }_i={\mu }_i\ge 0\\ & \to C\ge {\alpha }_i\\ & \to 0\le {\alpha }_i\le C\end{array}$$
基于上面的条件$0\le {\alpha }_i\le C$，同时将目标函数变号求极小值，得到：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$
上面的式子就是软间隔最大化SVM的优化目标，与硬间隔SVM相比，约束条件中的$0\le {\alpha }_i$变为$0\le {\alpha }_i\le C$。这样的问题同样可以使用SMO算法求极小值，进而求出w，b。

软间隔最大化的支持向量

硬间隔最大化SVM，所有满足${\alpha }_i^{\ast }>0$的样本$i$即为支持向量。对于软间隔最大化的SVM，由于引入了松弛变量${\xi }_i$，支持向量的判断稍微复杂一些。

如下图所示，划分超平面用实线表示，间隔边界由虚线表示。误分类的点到间隔平面的几何距离为$\frac{{\xi }_i}{||w|{|}_2}$。

软间隔支持向量$x_i$要么在间隔边界上，要么在间隔边界内，还可能在分离超平面误分类的一侧：

(1) 如果$\alpha =0$,那么$y_i(w^T{x}_i+b)-1\ge 0$,即样本在间隔边界上或者已经被正确分类。如图中所有远离间隔边界的点。

(2) 如果$0<\alpha <C$，且${\xi }_i=0,y_i(w^T{x}_i+b)-1=0$，即点在间隔边界上(蓝框部分)。

(3) 如果$\alpha =C$，说明这是一个可能比较异常的点，需要检查此时${\xi }_i$：

1. 如果$0<{\xi }_i<1$，那么点被正确分类，但是却在超平面和自己类别的间隔边界之间(黄框部分)。

2. 如果${\xi }_i=1$，那么点在分离超平面上，无法被正确分类。

3. 如果${\xi }_i>1$，那么点在超平面的另一侧，也就是说，这个点不能被正常分类(红框部分)。

于是，上面图片中所有标注了距离的都是支持向量。

软间隔最大化SVM算法过程

输入：线性可分的m个样本$(x_1,y_1),(x_2,y_2),...,(x_m,y_m),$

输出：分离超平面的参数$w^{\ast }$和$b^{\ast }$和分类决策函数。

(1) 选择惩罚系数C>0，构造优化问题：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i$$

$$\begin{gathered} s.t.\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,m \end{gathered}$$

(2) 采用SMO算法求出使得上式极小化的${\alpha }^{\ast }$

(3) 计算$w^{\ast }=\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{x}_i$

(4) 找到所有的S个支持向量$(x_s,y_s)$，计算：
$$b_s^{\ast }=y_s-(w^{\ast }{)}^T{x}_s=y_s-\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{x}_i^T{x}_s$$
​ 最终得到：
$$b^{\ast }=\frac{1}{S}\sum _{i=1}^S{b}_s^{\ast }$$
(5) 得到划分超平面与决策函数：
$$\begin{gathered} w^{\ast T}x+b^{\ast }=0 \\ f(x)=sign(w^{\ast T}x+b^{\ast }) \end{gathered}$$

参考文章：

《统计学习方法 第二版》

支持向量机原理(二) 线性支持向量机的软间隔最大化模型