[ML] 支持向量机

SVM是一种二类分类模型.

---

1. 线性可分支持向量机与硬间隔最大化

求解对象: 线性可分问题.

1.1 线性可分支持向量机

给定一个训练数据集: $T = \lbrace(x_1, y_1), ... ,(x_N, y_N) \rbrace , x_i∈X=R^n , y_∈Y=\lbrace+1, -1 \rbrace , i = 1, 2, ..., N$

可以算得一个分离超平面: $w^* · x + b^* = 0$ , 以及相应的分类决策函数: $f(x) = sign(w^* · x + b)$

1.2 函数间隔与几何间隔

基本思想: 一个点距离超平面的远近可以表示分类预测的确信程度.

1.2.1 定义函数间隔

超平面关于样本点的函数间隔: $\hat {γ_i} = y_i (w · x_i + b)$
超平面关于训练数据集T的函数间隔: $\hat γ = \displaystyle \min_{i=1, ... ,N} {\hat {γ_i}}$

1.2.2 定义几何间隔

超平面关于样本点的几何间隔: $γ_i = \frac{1}{||w||} y_i (w · x_i + b)$
超平面关于训练数据集T的几何间隔:$γ = \displaystyle \min_{i=1, ... ,N} { γ_i}$

1.3 间隔最大化

SVM的基本想法是求解能够正确划分训练数据集且几何间隔最大的分离超平面.

1.3.1 最大间隔分离超平面

求几何间隔最大的分离超平面(最大间隔分离超平面)可以表示为一个约束最优化问题:
$\displaystyle\max_{w,b} \frac {\hat γ}{||w||}$ (在 $y_i (w·x_i + b) ≥ \hat γ$ 的约束条件下)
注意到: (1) 函数间隔 $\hat γ$ 的取值不影响最优化问题的解, 故可令$\hat γ=1$; (2) 最大化$\frac{1}{||w||}$和最小化$\frac {||w||^2}{2}$是等价的.
从而最优化问题可以转化为如下形式:
$\displaystyle \min_{w,b} {\frac {||w||^2} {2}}$ (在 $y_i (w·x_i + b) - 1 ≥ 0$ 的约束条件下)

这是一个凸二次规划问题. 求解最优解w和b, 进而可得分离超平面和分离决策函数.

1.3.2 最大间隔分离超平面的存在唯一性

如果训练数据集T线性可分, 则可将训练数据集中的点完全分开的最大分离超平面存在且唯一.

1.3.3 支持向量和间隔边界

支持向量: 训练数据集中与分离超平面距离最近的样本点的实例. 满足下式:
$y_i (w·x_i + b) - 1 = 0$
对应下图中$H_1$与$H_2$上的点就是支持向量:

在决定分离超平面时只有支持向量在起作用, 这也是SVM名字的由来.

1.4 学习的对偶算法

算法概述: 应用拉格朗日对偶性, 通过求解对偶问题得到原始问题的最优解.
为什么这样做: (1) 对偶问题更容易求解, (2) 自然地引入核函数.
步骤: (可以结合感知机的对偶形式一同学习)
(1) 定义拉格朗日函数:
$L(w,b,α) = \frac{1}{2} ||w||^2 - \displaystyle\sum_{i=1}^{N} α_i y_i (w·x_i + b) + \displaystyle\sum_{i=1}^{N} α_i$ 其中, $α=(α_1, ... ,α_N)^T$为拉格朗日乘子向量.
(2) 写出对偶最优化问题:
$\displaystyle\min_{α} \frac{1}{2} \displaystyle\sum_{i=1}^{N}\displaystyle\sum_{j=1}^{N} α_iα_j y_i y_j (x_i ·x_j) - \displaystyle\sum_{i=1}^{N} α_i$
约束条件为: $\displaystyle\sum_{i=1}^{N} α_iy_i = 0$ 而且 $α_i ≥ 0 , i = 1, ... ,N$
(3) 由对偶最优化问题的解求得原始最优化问题的解:
对偶最优化问题的解为: $α^* = (α^*_1, ... ,α^*_l)^T$ (可以看到$α^*$的长度$l$不同于拉格朗日乘子向量的长度$N$)
$w^* = \displaystyle\sum_{i=1}^{N} α_i^* y_i x_i$
$b^* = y_j - \displaystyle\sum_{i=1}^{N} α_i^* y_i (x_i ·x_j)$ (注意$y_j$对应的$α_j>0$, 其实选择的$y_j$就是支持向量)

定义支持向量

对应于$α_i^*>0$的实例点$x_i$为支持向量.

---

2. 线性支持向量机与软间隔最大化

引入目的: 求解线性不可分问题, 即训练数据集中存在特异点(线性不可分的点).

2.1 线性支持向量机

对每个样本点引入松弛变量$ξ_i ≥0$. 约束条件变为:
$y_i (w · x_i +b) ≥ 1 - ξ_i$

因为松弛变量的引入, 目标函数要加上一个额外的”代价”:
$\frac{1}{2} ||w||^2 + C \displaystyle\sum_{i=1}^{N} ξ_i$
式中C>0为惩罚参数(C大的话, 对误分类的惩罚增大)
此时最小化目标函数包含了两层意思: (1)使$||w||^2$尽量小即间隔尽量大. (2) 使误分类点的个数尽量少. C是调节二者的系数.
线性不可分的线性支持向量机的学习问题变成如下凸二次规划问题(线性支持向量机的原始最优化问题):
$\displaystyle\min_{w,b,ξ} {\frac{1}{2} ||w||^2 + C \displaystyle\sum_{i=1}^{N} ξ_i}$
约束条件为: $y_i (w·x_i + b) ≥ 1 - ξ_i$

2.2 学习的对偶算法

输入: 训练数据集$T = \lbrace(x_1, y_1), ... ,(x_N, y_N) \rbrace , x_i∈X=R^n , y_∈Y=\lbrace+1, -1 \rbrace , i = 1, 2, ..., N$ .
输出: 分离超平面和分类决策函数.
(1) 选择惩罚参数C>0, 构造并求解凸二次规划问题:
$\displaystyle\min_{α} \frac{1}{2} \displaystyle\sum_{i=1}^{N}\displaystyle\sum_{j=1}^{N} α_iα_j y_i y_j (x_i ·x_j) - \displaystyle\sum_{i=1}^{N} α_i$ (与线性可分支持向量机的情形相同)
约束条件为: $\displaystyle\sum_{i=1}^{N} α_iy_i = 0$ 而且 $C ≥α_i ≥ 0 , i = 1, ... ,N$ (有别于线性可分支持向量机)

求得一个最优解: $α^* = (α^*_1, ... ,α^*_N)^T$

(2) 计算原始问题的参数
$w^* = \displaystyle\sum_{i=1}^{N} α_i^* y_i x_i$ (同线性可分支持向量机)
$b^* = y_j - \displaystyle\sum_{i=1}^{N} α_i^* y_i (x_i ·x_j)$ (注意$y_j$对应的$C>α_j>0$, 其实选择的$y_j$就是支持向量)

(求得的b*可能不唯一)
(3) 求得分离超平面和分类决策函数.

2.3 支持向量

支持向量(软间隔的支持向量): 对应$C>α_i^*>0$的样本点的实例$x_i$.
实例$x_i$到分离超平面的距离为$\frac {ξ_i} {||w||}$

支持向量$x_i$可以在: (1) 间隔边界上, (2) 间隔边界与分离超平面之间, (3) 在分离超平面的误分一侧.
以上各种情况可以用参数表示为:

1. $α_i^*<C, ξ_i=0$: $x_i$恰巧在间隔边界上, 是支持向量.
2. $α_i^*=C, ξ_i∈(0,1)$: 分类正确.
3. $α_i^*=C, ξ_i=1$: $x_i$恰好在分离超平面上.
4. $α_i^*=C, ξ_i>1$: $x_i$位于分离超平面误分一侧.

2.4 合页损失函数

合页损失函数的形式:
$L(y(w·x+b)) = [1-y(w·x+b)]_+$

则线性支持向量机原始最优化问题等价于如下的最优化问题(合页损失函数的累加 & 正则化项):
$\displaystyle\min_{w,b} \displaystyle\sum_{i=1}^{N}[1 - y_i(w·x_i + b)]_+ + λ||w||^2$

合页损失函数图示:

上图中虚线是感知机的损失函数(样本点只要被分类正确, 损失就=0), 相比之下, 合页损失函数不仅要分类正确, 而且在确信度足够高时损失才为0.

---

3. 非线性支持向量机与核函数

3.1 核技巧

3.1.1 非线性分类问题

非线性可分问题: 如果能用一个超曲面将训练数据集中的正负例正确分开, 则这个问题可以被称为非线性可分问题.
问题解决方法: (1) 使用一个非线性变换将原空间的数据映射到新空间, (2) 在新空间中用线性分类学习方法.

3.1.2 核函数的定义

核函数: 设X为输入空间, H为特征空间(希尔伯特空间, 通常是高维的), 如果存在一个从X到H的映射:
$Φ(x) : X → H$
使得对所有的x,z∈X, 函数K(x,z)满足条件:
$K(x, z) = Φ(x) · Φ(x)$
则称K(x,z)为核函数, Φ(x)为映射函数.
核技巧的思路: 只定义核函数K(x,z), 而不是显式地定义映射函数.

3.1.3 核技巧在支持向量机中的应用

用核函数替代对偶函数中的内积(xi,xj). 此时对偶函数的目标函数变为:
$W(α) = \frac{1}{2} \displaystyle\sum_{i=1}^{N}\displaystyle\sum_{j=1}^{N} α_iα_j y_i y_j K(x_i ·x_j) - \displaystyle\sum_{i=1}^{N} α_i$

同理分类决策函数变为:
$f(x) = sign( \displaystyle\sum_{i=1}^{N_s} α_i^* y_i Φ(x_i) · Φ(x) + b^*) = sign( \displaystyle\sum_{i=1}^{N_s} α_i^* y_i K(x_i, x) + b^*)$

在实际中, 往往依赖领域知识直接选择核函数, 并通过实验验证其有效性.

3.2 正定核

通常所说的核函数就是正定核函数.

3.2.1 正定核的充要条件

3.2.2 正定核的等价意义

实际问题中往往应用已有的核函数.

3.3 常用核函数

3.3.1 多项式核函数

$K(x,z) = (x·z+1)^p$

2. 高斯核函数

$K(x,z) = exp(-\frac{||x-z||^2}{2σ^2})$

3.4 非线性支持向量机学习算法

输入: 训练数据集T
输出: 分类决策函数
(1) 选取适当的核函数K和参数C, 构造并求解最优化问题
$\displaystyle\min \frac{1}{2} \displaystyle\sum_{i=1}^{N}\displaystyle\sum_{j=1}^{N} α_iα_j y_i y_j K(x_i ·x_j) - \displaystyle\sum_{i=1}^{N} α_i$
约束条件为:
$\displaystyle\sum_{i=1}^{N} α_iy_i = 0$ 而且 $C ≥α_i ≥ 0 , i = 1, ... ,N$
(2) 求解原始问题的参数的值
$b^* = y_j - \displaystyle\sum_{i=1}^{N} α_i^* y_i (x_i ·x_j)$ (注意$y_j$对应的$C>α_j>0$, 其实选择的$y_j$就是支持向量)
(3) 得出决策函数
$f(x) = sign( \displaystyle\sum_{i=1}^{N_s} α_i^* y_i K(x_i, x) + b^*)$

当K是正定核的时候, 上述问题是凸二次规划问题, 解是存在的.