支持向量机 (SVM)

支持向量机 (SVM)

1 线性可分支持向量机

1.1 线性可分支持向量机

• 分离超平面模型

$${\mathbf{w}}^T\mathbf{x}+b=0$$

• 决策函数

$$f(x)=sgn({\mathbf{w}}^T\mathbf{x}+b)$$

1.2 目标函数——硬间隔最大化

• 硬间隔

• 最优化问题

$$\begin{array}{rl}\underset{\mathbf{w},b}{\max }& \frac{2}{||\mathbf{w}||}\\ s.t.& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,\cdots ,m\end{array}$$

等价于
$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }& \frac{1}{2}||\mathbf{w}|{|}^2\\ s.t.& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,\cdots ,m\end{array}$$

若训练数据集线性可分，则可将数据集中的样本点完全分开的最大间隔分离超平面存在且唯一。

1.3 学习的对偶算法

构造Lagrange函数
$$L(\mathbf{w},b,\mathbf{\lambda })=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\lambda }_i\left\{1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\right\}$$
原始问题：
$$\underset{\mathbf{w},b}{\min }\underset{\mathbf{\lambda }\ge 0}{\max }L(\mathbf{w},b,\mathbf{\lambda })$$
对偶问题：
$$\underset{\mathbf{\lambda }\ge 0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\lambda })$$
首先该优化问题是凸二次规划问题，其次对线性可分情况，原始问题满足Slater条件，故根据定理2存在 $w^{\ast },b^{\ast },{\lambda }^{\ast }$ 使 $w^{\ast },b^{\ast }$ 是原始问题的最优解，${\lambda }^{\ast }$ 是对偶问题的最优解。由定理3知KKT条件成立：
$$\begin{array}{rlr}{\nabla }_{\mathbf{w}}L(\mathbf{w},b,\mathbf{\lambda })& =\mathbf{w}-\sum _{i=1}^m{\lambda }_i{y}_i{\mathbf{x}}_i=0& (1)\\ {\nabla }_{b}L(\mathbf{w},b,\mathbf{\lambda })& =-\sum _{i=1}^m{\lambda }_i{y}_i=0& (2)\\ {\lambda }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]& =0,i=1,\cdots ,m& (3)\\ {\lambda }_i& \ge 0,i=1,\cdots ,m& (4)\\ y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1& \ge 0,i=1,\cdots ,m& (5)\end{array}$$
Step1 求 $\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\lambda })$.

由 KKT条件 (1)(2) 得
$$\begin{array}{rlr}\mathbf{w}& =\sum _{i=1}^m{\lambda }_i{y}_i{\mathbf{x}}_i& (1\ast )\\ 0& =\sum _{i=1}^m{\lambda }_i{y}_i& (2\ast )\end{array}$$
代入Lagrange函数得：
$$\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\lambda })=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j+\sum _{i=1}^m{\lambda }_i$$
其中，$\sum _{i=1}^m{\lambda }_i{y}_i=0$.

Step 2 求解对偶问题 $\underset{\mathbf{\lambda }}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\lambda })$ ，即求 $\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\lambda })$对 $\mathbf{\lambda }\ge 0$ 的极大值点 ${\mathbf{\lambda }}^{\ast }$.
$$\begin{array}{rl}\underset{\mathbf{\lambda }\ge 0}{\max }& -\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j+\sum _{i=1}^m{\lambda }_i\\ s.t.& \sum _{i=1}^m{\lambda }_i{y}_i=0\\ & {\lambda }_i\ge 0,i=1,\cdots ,m\end{array}$$
利用序列最小化 (SMO) 算法求解以上问题得到 ${\mathbf{\lambda }}^{\ast }$.

Step3 求解原始问题 $\underset{\mathbf{w},b}{\min }\underset{\mathbf{\lambda }\ge 0}{\max }L(\mathbf{w},b,\mathbf{\lambda })$，等价于求解 $\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,{\mathbf{\lambda }}^{\ast })$.

$({\mathbf{w}}^{\ast },b^{\ast },{\mathbf{\lambda }}^{\ast })$ 满足KKT条件，易知在 ${\mathbf{\lambda }}^{\ast }$ 中至少有一个 ${\lambda }_j^{\ast }>0$ (否则由(1*) 知${\mathbf{w}}^{\ast }=0$, 但是${\mathbf{w}}^{\ast }=0$不是原始问题的解，矛盾)。对此 $j$ ，由 (3) 知
$$y_j({\mathbf{w}}^{\ast T}{\mathbf{x}}_j+b^{\ast })-1=0$$
因此可以得到
$$\begin{array}{rl}{\mathbf{w}}^{\ast }& =\sum _{i=1}^m{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i\\ b^{\ast }& =y_j-\sum _{i=1}^m{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i^T{\mathbf{x}}_j\end{array}$$

由此可知，${\mathbf{w}}^{\ast },b^{\ast }$ 的训练只依赖于 ${\lambda }_i^{\ast }>0$ 的样本点 $(x_i,y_i)$，称为支持向量，支持向量之可能出现在间隔边界上。

Step4 求得分离超平面
$${\mathbf{w}}^{\ast T}\mathbf{x}+b^{\ast }=0$$
Step5 分类决策函数
$$f(x)=sgn({\mathbf{w}}^{\ast T}x+b^{\ast })$$

 

2 软间隔支持向量机

2.1 Hypothsis

分离超平面模型
$${\mathbf{w}}^T\mathbf{x}+b=0$$
分类决策函数
$$f(x)=sgn({\mathbf{w}}^T\mathbf{x}+b)$$

2.2 目标函数——最大化软间隔

软间隔

目标函数 (原始问题)
$$\begin{array}{rl}\underset{\mathbf{w},b,\mathbf{\xi }}{\min }& \frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i\\ s.t.& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i,i=1,\cdots ,m\\ & {\xi }_i\ge 0\end{array}$$
其中，$C$ 是惩罚项系数，$\mathbf{\xi }$ 是松弛变量。

2.3 转化为对偶问题求解

构造Lagrange函数
L ( w , b , ξ , λ , μ ) = 1 2 ∣ ∣ w ∣ ∣ 2 + C ∑ i = 1 m ξ i + ∑ i = 1 m λ i { 1 − ξ i − y i ( w T x i + b ) } − ∑ i = 1 m μ i ξ i L(\boldsymbol{w},b,\boldsymbol{\xi},\boldsymbol{\lambda},\boldsymbol{\mu}) = \frac{1}{2}||\boldsymbol{w}||^2 + C\sum_{i=1}^{m}\xi_{i} +\sum_{i=1}^{m}\lambda_{i}\left\{1-\xi_{i}-y_{i}(\boldsymbol{w}^{T}\boldsymbol{x}_{i}+b)\right\} - \sum_{i=1}^{m}\mu_{i}\xi_{i} L(w,b,ξ,λ,μ)=21​∣∣w∣∣2+Ci=1∑m​ξi​+