支持向量机(Support Vector Machine, SVM)

线性SVM

SVM的优化目标是最大化分类边距，边距是指两个分离的超平面(决策边界)间的距离，位于分类边距上的数据点成为支持向量。图中蓝线所指的就是支持向量。

计算边距的大小：

设分类的超平面为：
$$g(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b=0$$
支撑超平面为$g(\mathbf{x})=\pm c$,令$c=1$：
$$\{\begin{array}{c}{\mathbf{w}}^T{\mathbf{x}}_i+b⩾1,y_i=+1\\ {\mathbf{w}}^T{\mathbf{x}}_i+b⩽-1,y_i=-1\end{array}$$
虽然在这里假设$c=1$,所求得的$(\mathbf{w},b)$若能正确分类，总存在缩放变换： $\mathbf{w}\to \zeta \mathbf{w}，\mathbf{b}\to \zeta \mathbf{b}$使得上式成立。
由样本到超平面的距离公式：
$$d=\frac{|g(\mathbf{x})|}{||\mathbf{w}||}$$
分类间隔为：
$$\frac{|+1|}{||\mathbf{w}||}+\frac{|-1|}{||\mathbf{w}||}=\frac{2}{||\mathbf{w}||}$$
SVM的学习过程归结为寻找合适的$\mathrm{w}$和$b$：

• 所有的训练数据都在正确的分类区域
  yi(⟨w,xi⟩+b)≥1，其中yi∈{−1,+1}y_{i}(\left \langle {\rm{w}},{\rm{x}}_{i} \right \rangle+b) \geq 1，其中y_{i} \in \{-1, +1\}yi​(⟨w,xi​⟩+b)≥1，其中yi​∈{−1,+1}
• 最大化边距：$\max \frac{2}{\parallel \mathbf{w}\parallel }\iff \min \frac{1}{2}{\parallel \mathbf{w}\parallel }^2$
  目标函数可以被整理成为如下的格式：
  $$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2 \\ s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,n \end{gathered}$$
  此时可以使用在约束$g(\mathbf{x})\le 0$下最小化$f(\mathbf{x})$的拉格朗日乘数法，此时需要转化为如下的KKT约束条件：
  $$\{\begin{array}{c}g(\mathbf{x})⩽0\\ \lambda ⩾0\\ \lambda g(\mathbf{x})=0\end{array}$$
  每条约束添加拉格朗日乘子${\alpha }_i⩾0$,该问题的拉格朗日函数可写为：$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^n{\alpha }_i(1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b))$$
  原始问题：${\min }_{\mathbf{w},b}{\theta }_p(\mathbf{w},b)={\min }_{\mathbf{w},b}{\max }_{{\alpha }_i⩾0}L(\mathbf{w},b,\alpha )=p^{\ast }$
  对偶问题：${\max }_{\alpha }{\theta }_d(\alpha )={\max }_{{\alpha }_i⩾0}{\min }_{\mathbf{w},b}L(\mathbf{w},b,\alpha )=d^{\ast }$
  从以上可以看出，原始问题先固定$\alpha$优化$\mathbf{w},b$，求出$\mathbf{w},b$再优化$\alpha$。对偶问题先固定$\mathbf{w},b$优化$\alpha$，求出$\alpha$后在优化$\mathbf{w},b$。采用其对偶问题，先固定先固定$\mathbf{w},b$：
  $$\begin{gathered} \frac{\partial L(\mathbf{w},b,\mathbf{\alpha })}{\partial \mathbf{w}}=0\Rightarrow \mathbf{w}=\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i \\ \frac{\partial L(\mathbf{w},b,\mathbf{\alpha })}{\partial b}=0\Rightarrow 0=\sum _{i=1}^n{\alpha }_i{y}_i \end{gathered}$$
  将以上两式子带入$L(\mathbf{w},b,\mathbf{\alpha })$可得：
  $$\begin{gathered} \frac{1}{2}||\mathbf{w}|{|}^2=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ -\sum _{i=1}^n{\alpha }_i(1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b))=-\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^n{\alpha }_i \end{gathered}$$
  得到${\theta }_d(\alpha )={\sum }_{i=1}^n{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$
  此时需要求解如下关于$\alpha$目标函数：
  $$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0, \\ {\alpha }_i⩾0,i=1,2,...,n \end{gathered}$$
  上述过程需满足KKT条件：
  $$\{\begin{array}{c}{y}_{i}f({\mathbf{x}}_i)-1⩾0\\ {\alpha }_i⩾0\\ {\alpha }_i(y_{i}f({\mathbf{x}}_i)-1)=0\end{array}$$
  从KKT条件中可以看出，对于$\forall ({\mathbf{x}}_i,y_i)$,必有${\alpha }_i=0$或$y_{i}f({\mathbf{x}}_i)=1$。当样本点为非支持向量时，${\alpha }_i=0$，样本对$f(\mathbf{x})$没有影响，当${\alpha }_i>0$时，必有$y_{i}f({\mathbf{x}}_i)=1$,此时对应的样本点为支持向量。所以最终的模型只和支持向量有关。
  解出$\alpha$后，求出$\mathbf{w},b$:
  w=∑i=1nαiyixi=∑xi∈SVαiyixiyj(wTxj+b)−1=0{j∣αj>0}⇒b=yj−wTxj\bm{w}=\sum_{i=1}^{n}\alpha_{i}y_{i}\bm{x}_{i} =\sum_{\bm{x}_{i}\in SV}\alpha_{i}y_{i}\bm{x}_{i} \\ y_{j}(\bm{w}^{T}\bm{x}_{j}+b)-1=0 \{j|\alpha_{j}>0\}\\ \Rightarrow b=y_{j}- \bm{w}^{T}\bm{x}_{j}w=i=1∑n​αi​yi​xi​=xi​∈SV∑​αi​yi​xi​yj​(wTxj​+b)−1=0{j∣αj​>0}⇒b=yj​−wTxj​
  理论上偏置项$b$的确定可以根据任意的支持向量求解，在现实任务中，采用更加鲁棒性的做法:使用所有支持向量的平均值：
  $$b=\frac{1}{|SV|}\sum _{{\mathbf{x}}_i\in SV}(y_i-{\mathbf{w}}^T{\mathbf{x}}_i)$$
  即可得到模型：
  $$\begin{gathered} f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b \\ =\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i^T\mathbf{x}+\frac{1}{|SV|}\sum _{{\mathbf{x}}_i\in SV}(y_i-{\mathbf{w}}^T{\mathbf{x}}_i) \end{gathered}$$

非线性SVM：核函数法

可将样本映射到高维空间中，使得在低维空间线性不可分的样本在高维空间线性可分。

设$\varphi (\mathbf{x})$为$\mathbf{x}$映射后的特征向量，在特征空间中划分超平面的模型为$$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$$
此时的对偶问题是：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j) \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0, \\ {\alpha }_i⩾0,i=1,2,...,n \end{gathered}$$
由于特征空间可能维度很高，甚至是无穷维，内积运算$\varphi (x_i{)}^T\varphi (x_j)$比较困难。此时可以设想一个核函数：
$$\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^T\varphi ({\mathbf{x}}_j)$$
有了核函数，就无需再求高维甚至无穷维特征空间的内积，目标函数可写为：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}}) \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0, \\ {\alpha }_i⩾0,i=1,2,...,n \end{gathered}$$
解出$\alpha$后，求出$\mathbf{w},b$:
w=∑i=1nαiyixiyi(wTxi+b)−1=0{i∣αi>0}⇒b=yj−∑i=1nαiyiκ(xi,xj)\bm{w}=\sum_{i=1}^{n}\alpha_{i}y_{i}\bm{x}_{i} \\ y_{i}(\bm{w}^{T}\bm{x}_{i}+b)-1=0 \{i|\alpha_{i}>0\}\\ \Rightarrow b=y_{j}-\sum_{i=1}^{n}\alpha_{i}y_{i}\kappa(x_{i},x_{j})w=i=1∑n​αi​yi​xi​yi​(wTxi​+b)−1=0{i∣αi​>0}⇒b=yj​−i=1∑n​αi​yi​κ(xi​,xj​)
$$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b=\sum _{i=1}^n{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi (\mathbf{x})+b=\sum _{i=1}^n{\alpha }_i{y}_i\kappa ({\mathbf{x}}_{\mathbf{i}},\mathbf{x})+b$$
核函数：
若已知合适的映射$\varphi (\cdot )$，则可写出核函数$\kappa (\cdot )$。在现实任务中我们通常不知道$\varphi (\cdot )$的形式，我们有以下定理可以选择核函数。
$\mathcal{X}$为输入空间，$\kappa (\cdot ,\cdot )$是定义在$\mathcal{X}\times \mathcal{X}$的对称函数，则$\kappa$是核函数当且仅当对于任意数据D={x1,x2,...,xm}D=\{\bm{x}_{1},\bm{x}_{2},...,\bm{x}_{m}\}D={x1​,x2​,...,xm​},核矩阵$\mathbf{K}$总是半正定的。

矩阵正定的定义： 对于实对称矩阵$A$,如果对于任意的非0向量$\mathbf{x}\in R^n̸=0$，有${\mathbf{x}}^{T}A\mathbf{x}>0$,则矩阵$A$是正定的。其充要条件是矩阵$A$对应的特征值全是正数。
上述的定理表明，对于任意一个对称函数所对应的核矩阵半正定，就能作为核函数使用，同时也隐式对应映射函数$\varphi$。
我们希望样本在特征空间里线性可分，特征空间的好坏对SVM的性能很重要。在不知道特征映射的情况下，我们并不知道什么样的核函数是最适合的，核函数隐式的定义了特征空间。于是核函数的选择成为SVM的最大变数。若核函数选择不合适，样本会映射到一个不合适的空间，进而导致性能不佳。
常用的核函数：

新的核函数也可以通过组合核函数得到：

• 若${\kappa }_1$和${\kappa }_2$为核函数，对于任意正数${\gamma }_1$和${\gamma }_2$，其线性组合${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$也是核函数。
• 若${\kappa }_1$和${\kappa }_2$为核函数，则核函数的直积（笛卡尔积）$${\kappa }_1(\mathbf{x},\mathbf{z}){\kappa }_2(\mathbf{x},\mathbf{z})$$也是核函数。
• 若${\kappa }_1$为核函数，则对于任意函数$g(\mathbf{x})$ $$$\kappa (\mathbf{x},\mathbf{z})=g(\mathbf{x}){\kappa }_1(\mathbf{x},\mathbf{z})g(\mathbf{z})$$

软边距的SVM

如果不存在一个分类面使得训练数据能够被完美分开，或者为了防止由于过拟合而造成的线性可分，那么边距不再是硬性限制(软边距)，此时允许一些样本分类错误。这些样本不必满足：
$$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$$
此时需要在优化目标中加入对错误样本的惩罚，错误惩罚为出错数据点与分类面的距离。如果不加入惩罚项，支持向量会变为最外侧的样本点，造成分类失败；加入惩罚项，会在最大边距与错误样本惩罚项之间得到权衡。
优化目标：$$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i}{\min }{\frac{1}{2}||\mathbf{w}||}^2+C\sum _{i=1}^n{\xi }_i \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,2,...,n \end{gathered}$$
例如可以使用hinge函数：$l(z)=\max (0,1-z)$
此时优化函数可写为：
$$\underset{\mathbf{w},b,{\xi }_i}{\min }{\frac{1}{2}||\mathbf{w}||}^2+C\sum _{i=1}^n\max (0,1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$$
其中参数$C$是一个权衡，$C$变大，牺牲了分类间隔，减少了训练集错误。
对偶问题为：
目标函数可写为：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}}) \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0, \\ 0\le {\alpha }_i\le C,i=1,2,...,n \end{gathered}$$
可以看出，与软间隔的目标函数相比，变化只有增加了${\alpha }_i\le C$。
$$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b=\sum _{i=1}^n{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi (\mathbf{x})+b=\sum _{i=1}^n{\alpha }_i{y}_i\kappa ({\mathbf{x}}_{\mathbf{i}},\mathbf{x})+b$$

利用线性SVM对鸢尾花数据集进行分类：

from sklearn.svm import SVC
import numpy as np
from sklearn.preprocessing import StandardScaler
# 数据获取和绘图函数见决策树部分：https://blog.youkuaiyun.com/winycg/article/details/82763334
sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)
svm = SVC(kernel='linear', C=1.0, random_state=0)
svm.fit(X_train_std, y_train)