支持向量机(SVM)综合

概念

E.n. Support Vector Machine (SVM)。机器学习领域有一种概念叫 线性可分 (linearly seperable) —— 可以通过设置超平面将正负案例划分到超平面的两侧。e.g. 二维数据的超平面为一条线，三维数据的超平面为一个面。这里的 超平面 (hyperplane) 是支持向量机思想的核心：在超平面对样本进行完全分类的情况下，最大化 支持向量 (Support Vector，离超平面最近且等距的两个或两个以上的样本点) 到超平面的距离 (这个距离又称为 间隔，Margin) 。线性SVM (Linear SVM) 的超平面是线性的，满足 “平” 的概念，e.g. 二维空间中的一条直线，适合处理线性可分的数据；面对线性不可分的数据时，线性 SVM 可以通过生成最大软间隔分离超平面实现部分分离，但泛化性能有限。非线性SVM (Non-linear SVM) 则在线性 SVM 的基础上添加了 核技巧 (kernel tricks) ，将数据投射到高维空间，使其变得线性可分后，再进行超平面的生成。SVR (Support Vector Regression，支持向量回归) 是将线性 SVM 的思想运用到回归后生成的模型。

线性SVM

假设超平面 $\Pi$ 的表达式为 { X ∣ W T X + b = 0 } \{X|W^TX+b=0\} { X∣WTX+b=0}，其中 $X=(x_1,...,x_m{)}^T$，则样本点 $X_i$ 到超平面的最近距离为
$$d^{\ast }(X_i;\Pi )=\frac{|W^T{X}_i+b|}{||W||}$$

欧式范数 $||W||$ 的作用在于防止距离因 $W$ 和 $b$ 等比例变化而发生变动 (实际上超平面位置并没有发生改变)。规定 y i ∈ { − 1 , 1 } y_i\in \{-1,1\} yi​∈{ −1,1}，进行分类预测，
$$\widehat{y_i}=\{\begin{array}{ll}-1,& W^T{X}_i+b<0\\ 1,& W^T{X}_i+b\ge 0\end{array}$$

我们要求超平面能够有效地将所有样本点分离在两侧，因此有了约束条件
$$y_i\frac{W^T{X}_i+b}{||W||}\ge d^{\ast }$$

由于 $W$ 和 $b$ 同比例变换对超平面没有影响，不妨设 $d^{\ast }=\frac{1}{||W||}$，将约束条件转化为
$$y_i(W^T{X}_i+b)\ge 1$$

满足该约束条件的超平面 Π ∗ : { X ∣ W ∗ T X + b = 0 } \Pi^*:\{X|W^{*T} X+b=0\} Π∗:{ X∣W∗TX+b=0} 被称为 最大硬间隔分离超平面 (Maximum Hard Margin Seperating Hyperplane) 。在这基础上生成的超平面 Π 1 ∗ : { X ∣ W ∗ T X + b = − 1 } \Pi^*_1:\{X|W^{*T} X+b=-1\} Π1∗​:{ X∣W∗TX+b=−1} 和 Π 2 ∗ : { X ∣ W ∗ T X + b = 1 } \Pi^*_2:\{X|W^{*T} X+b=1\} Π2∗​:{ X∣W∗TX+b=1} 称为 间隔边界。约束条件满足时，间隔边界之间不存在样本点；间隔边界上的样本点即为前文所提 支持向量 (Support Vector)。间隔边界和支持向量的概念在下文讲拉格朗日乘子算法时相较重要，此处可先跳过。

最大硬间隔分离超平面仅能应用在线性可分的数据上，当数据线性不可分时，超平面永远存在错分的样本点，换言之该约束条件不再满足。此时加入松弛变量 ${\xi }_i\ge 0$，
$$y_i(W^T{X}_i+b)\ge 1-{\xi }_i$$

满足调整过后约束条件的超平面称为 最大软间隔分离超平面 (Maximum Soft Margin Seperating Hyperplane) 。对松弛变量进行惩罚而产生的损失项也就是我们常说的 铰链损失 (Hinge Loss)，
$$l_{\xi }(X_i,y_i;\Pi )=\max (0,1-y_i(W^T{X}_i+b))$$

将间隔惩罚项与铰链损失结合在一起，线性 SVM 的损失函数为
$$L(X,y;\Pi )=\frac{1}{2}||W|{|}^2+C\sum _i\max (0,1-y_i(W^T{X}_i+b))$$

$C$ 为针对松弛变量的惩罚系数，值越大代表模型越看重错分样本，值越小代表模型越看重整体最大间隔，因此适当提高 $C$ 值可以更大程度地拟合数据，但过高容易过拟合。此时形成最小化损失函数的无约束优化问题，在训练中使用 随机梯度下降法 (Stochastic Gradient Descent, SGD) 实现参数收敛。在这里跳过对损失函数求参数偏导的数学计算。

Algorithm Linear_SVM($D$,$\eta$,$C$):
 Input: Sample data D = { ( X i , y i ) ∣ y i ∈ { − 1 , 1 } , i = 1 , . . . , n } D=\big\{(X_i,y_i)|y_i\in\{-1,1\},i=1,...,n\big\} D={ (Xi​,yi​)∣yi​∈{ −1,1},i=1,...,n}, learning rate $\eta$, penalty factor $C$.
 Output: Prediction result $\hat{y}$.
 initialize $W$ and $b$
 while not converged do
  calculate residual, $e=1-y(W^{T}X+b)$
  find the sample which is most probable to be wrongly classified, $i=\arg {\max }_i{e}_i$
  if $e_i>0$ then
    W ← W + η C