西瓜书-SVM

SVM

1、算法原理

从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好

1.1、超平面

$n$维空间的超平面$w^{T}x+b=0$，其中$w,x\in {\mathbb{R}}^n$:

• 超平面方程不唯一

• 法向量$w$和位移$b$确定一个唯一超平面

• 法向量$w$垂直于超平面(缩放$w,b$时，若缩放倍数为负数会改变法向量方向)

• 法向量$w$指向的那一半空间为正空间，另一半为负空间

• 任意点$x$到超平面的距离公式为
  $$r=\frac{|w^T+b|}{||w||}$$
  证明如下：

对于任意一点$x_0\text{x0}{x}_0=(x_1^0,x_2^0,..,x_n^0{)}^T$，设其在超平面$w^{T}x\text{wTx}{w}^{T}x+b=0$上的投影点为$x_1\text{x1}{x}_1=(x_1^1,x_2^1,..,x_n^1{)}^T$，则$w^T{x}_1\text{wTx1}{w}^T{x}_1+b=0$，且向量$\overrightarrow{x_1{x}_0\text{x1x0}{x}_1{x}_0}$与法向量$w\text{w}w$平行，

1.2、几何间隔

对于给定的数据集$X$和超平面$w^{T}x\text{wTx}{w}^{T}x+b=0$，定义数据集$X$中的任意一个样本点 ( x i , y i ) , y i ∈ { − 1 , 1 } , i = 1 , 2 , . . , m (\pmb{x_i},y_i),y_i\in \{-1,1\},i=1,2,..,m (xi​​xi​​​xi​,yi​),yi​∈{−1,1},i=1,2,..,m关于超平面的几何间隔为
$${\gamma }_i=\frac{y_i(w^T{x}_i\text{wTxi}{w}^T{x}_i+b)}{||w\text{w}w||}$$

• 正确分类时：${\gamma }_i>0$，$y_i$与$w^T{x}_i\text{wTxi}{w}^T{x}_i+b$同号，几何间隔此时也等价于点到超平面的距离
• 未正确分类时：${\gamma }_i<0$

对于给定数据集$X$和超平面$w^{T}x\text{wTx}{w}^{T}x+b=0$，定义数据集$X$关于超平面的几何间隔为:数据集$X$中所有样本点的几何间隔最小值：
$$\gamma =\underset{i=1,2,...,m}{\min }{\gamma }_i$$

1.3、模型

给定线性可分数据集$X$，支持向量机模型希望求得数据集$X$关于超平面的几何间隔$\gamma$达到最大的那个超平面，然后套上一个$sign$函数实现分类功能
$$y=sign(w^{T}x\text{wTx}{w}^{T}x+b)=\{\begin{array}{r}1,w^{T}x\text{wTx}{w}^{T}x+b>0\\ -1,w^{T}x\text{wTx}{w}^{T}x+b<0\end{array}$$
所以其本质和感知机一样，仍然是在求一个超平面。那么几何间隔最大的超平面就一定是我们前面所说的那个距离正负样本都最远的超平面：

• 当超平面没有正确划分正负样本时：几何间隔最小的为误分类点，因此$\gamma <0$
• 当超平面正确划分正负样本时：$\gamma \ge 0$，且越靠近中央$\gamma$越大。
• 存在第二种情况时，肯定不会选第一种，而第二种中我们也会选择最大的，即距离均最远的。
• 这里的最大值要和$1.2$中的最小值区分开，前者是调整$w,b$，后者是固定$w,b$计算样本点的几何间隔的最小值。

1.4、策略

给定线性可分的数据集$X$，设$X$中几何间隔最小的样本为$(x_{min},y_{min})$，那么支持向量机找超平面的过程可以转换为一下带约束条件的优化问题。

假设该问题的最优解为$(w^{\ast },b^{\ast })$，那么$(\alpha w^{\ast },\alpha b^{\ast }),\alpha \in {\mathbb{R}}^{+}$也是最优解，且超平面也不变，因此还需要对$w\text{w}w,b$做一定限制才能使得上述优化问题有可能的唯一解。不妨令$y_{min}(w^T{x}_{min}\text{wTxmin}{w}^T{x}_{min}+b)=1$，因为对于特定的$({x\text{x}x}_{min},y_{min})$来说，能使得$y_{min}(w^T{x}_{min}\text{wTxmin}{w}^T{x}_{min}+b)=1$的$\alpha$有且只有一个。因此，上述优化问题进一步转换为
$$\begin{gathered} \underset{w,b}{\max }\frac{1}{||w||} \\ s.t.y_i(w^T{x}_i\text{wTxi}{w}^T{x}_i+b)\ge 1,i=1,2,...,m \end{gathered}$$
恒等变化得：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.1-y_i(w^T{x}_i+b)\ge 0,i=1,2,..,m \end{gathered}$$
此优化问题含不等式约束的优化问题，且为凸优化问题，因此可以直接用很多专门求解凸优化问题的方法求解该问题，在这里，支持向量机通常采用拉格朗日对偶来求解，具体原因稍后解释。

拉格朗日对偶补充知识：

对于一般的约束优化问题：
$$\begin{gathered} minf(x) \\ s.t.g_i(x)\le 0i=1,2,..,m \\ {h}_j(x)=0j=1,2,..,n \end{gathered}$$
若目标函数$f(x)$是凸函数，约束集为凸集，则称上述优化问题为凸优化问题，特别的，$g_i(x)$是凸函数，$h_j(x)$是线性函数时，约束集为凸集，该优化问题为凸优化问题。显然，支持向量机的目标函数$\frac{1}{2}||w|{|}^2$是关于$w\text{w}w$的凸函数，不等式约束$1-y_i(w^T{x}_i+b)$也是关于$w\text{w}w$的凸函数，因此支持向量机是一个凸优化问题（凸函数的证明可查阅网上资料）。

对于一般的约束优化问题（不一定是凸优化问题）：
$$\begin{gathered} minf(x) \\ s.t.g_i(x)\le 0i=1,2,..,m \\ {h}_j(x)=0j=1,2,..,n \end{gathered}$$
设上述优化问题的定义域为$D=dom\text{dom}domf\cap {\bigcap }_{i=1}^{m}dom\text{dom}dom{g}_i\cap {\bigcap }_{j=1}^{n}dom\text{dom}dom{h}_j$，可行集（属于定义域且满足约束条件）为 D ~ = { x ∣ x ∈ D , g i ( x ) ≤ 0 , h j ( x ) = 0 } \tilde{D}=\{x|x\in D,g_i(x)\le0,h_j(x)=0\} D~={x∣x∈D,gi​(x)≤0,hj​(x)=0}，显然$\tilde{D}$是$D$的子集，最优值 p ∗ = m i n { f ( x ~ ) } . x ~ ∈ D ~ p^*=min\{f(\tilde{x})\}.\tilde{x}\in\tilde{D} p∗=min{f(x~)}.x~∈D~。由拉格朗日函数的定义可知上述优化问题的拉格朗日函数为
$$L(x,\mu ,\lambda )=f(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{j=1}^n{\lambda }_j{h}_j(x)$$
其中$\mu =({\mu }_1,..,{\mu }_m{)}^T,\lambda =({\lambda }_1,...,{\lambda }_n{)}^T$为拉格朗日乘子向量。

定义上述优化问题的拉格朗日对偶函数$\Gamma (\mu ,\lambda )\text{Γ(μ,λ)}\Gamma (\mu ,\lambda )$，（注意其自变量不包含$x\text{x}x$）为$L(x,\mu ,\lambda )$关于$x$的下确界(此处可看作最小值)，也即
$$\Gamma (\mu ,\lambda )=\underset{x\in D}{\inf }⟮f(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{j=1}^n{\lambda }_j{h}_j(x)⟯$$
对偶函数$\Gamma (\mu ,\lambda )$有如下重要性质：

• 无论上述优化问题是否为凸优化问题，其对偶函数$\Gamma (\mu ,\lambda )$恒为凹函数，加个负号就变成了凸函数。

• 当$\mu \ge 0$时，$\Gamma (\mu ,\lambda )$构成了上述优化问题最优值$p^{\ast }$的下界，即
  $$\Gamma (\mu ,\lambda )\le p^{\ast }$$
  **证明：**设$\tilde{x}\in \tilde{D}$是优化问题的可行点，那么当$\mu \ge 0$时
  $$\sum _{i=1}^m{\mu }_i{g}_i(x)+\sum _{j=1}^n{\lambda }_j{h}_j(x)\le 0$$
  这是因为左边第一项非正而第二项恒为0（看前面的约束条件）。所以
  Γ ( μ , λ ) = i n f x ∈ D L ( x , μ , λ ) ≤ L ( x ~ , μ , λ ) ≤ f ( x ~ ) Γ ( μ , λ ) ≤ m i n { f ( x ~ ) } = p ∗ i n f 表 示 最 小 值 , x ~ ∈ D ~ ⊆ D \Gamma(\mu,\lambda)=\underset{x\in D}{inf}L(x,\mu,\lambda)\le L(\tilde{x},\mu,\lambda)\le f(\tilde{x})\\ \Gamma(\mu,\lambda)\le min\{f(\tilde{x})\}=p^*\\ inf表示最小值,\tilde{x}\in \tilde{D}\subseteq D Γ(μ,λ)=x∈Dinf​L(x,μ,λ)≤L(x~,μ,λ)≤f(x~)Γ(μ,λ)≤min{f(x~)}=p∗inf表示最小值,x~∈D~⊆D
  所以，当$\mu \ge 0$时，$\Gamma (\mu ,\lambda )\le p^{\ast }$恒成立，证毕。

定义在满足$\mu \ge 0$这个约束条件下求对偶函数最大值的优化问题为拉格朗日对偶问题（原优化问题称为主问题）
$$\begin{gathered} max\Gamma (\mu ,\lambda ) \\ s.t.\mu \ge 0 \end{gathered}$$
设该优化问题的最优值为$d^{\ast }$，显然$d^{\ast }\le p^{\ast }$，此时称为“弱对偶性”成立，若$d^{\ast }=p^{\ast }$，则称为“强对偶性”成立。曲线救国，找到了求$p^{\ast }$的方法

• 当主问题满足某些充分条件时，强对偶性成立。常见的充分条件有Slater条件：“若主问题为凸优化问题，且可行集$\tilde{D}$中存在一点能使得所有不等式约束成立，则强对偶性成立”

• 无论主问题是否为凸优化问题，对偶问题恒为凸优化问题，因为对偶函数$\Gamma (\mu ,\lambda )$恒为凹函数（加个负号即可转为凸函数），约束条件$\mu \ge 0$恒为凸集。

• 设$f(x),g_i(x),h_i(x)$一阶偏导连续，$x^{\ast }，({\mu }^{\ast },{\lambda }^{\ast })$分别为主问题和对偶问题的最优解，若强对偶性成立，则$x^{\ast },{\mu }^{\ast },{\lambda }^{\ast }$一定满足如下5个条件：

  

  也叫KKT条件。

主问题
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.1-y_i(w^T{x}_i+b)\le 0,i=1,2,...,m \end{gathered}$$
拉格朗日函数：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))\\ & =\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$
若将$w,b$合并为$\hat{w}=(w;b)$，显然上式是关于$\hat{w}$的凸函数，直接求一阶导数令其等于0，然后代回即可求得最小值，也即拉格朗日对偶函数。
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i{\hat{w}}^T\widehat{x_i})$$
另一种方法：

由于$L(w,b,\alpha )$是关于$w$的凸函数，关于$b$的线性函数，所以当$b$的系数不为0时下确界为$-\infty$，当$b$的系数为0时，下确界就由其他部分来确定，所以$L(w,b,\alpha )$的下确界(对偶函数)为

上式中$inf$等价于最小值，所以对括号内式子关于$w$求导等于0后，代回消去$w$即可得到二式，求导法则。

对偶问题:

再根据强对偶性成立推得最优解必须满足如下KKT条件
$$\{\begin{array}{rl}& {\alpha }_i\ge 0\\ & y_{i}f(x_i)-1\ge 0\\ & {\alpha }_i(y_{i}f(x_i)-1)=0\end{array}$$
最后一个问题，为什么支持向量机通常都采用拉格朗日对偶求解呢？

1. 无论主问题为何种优化问题，对偶问题恒为凸优化问题，因此更容易求解，而且原始问题的时间复杂度和特征维数呈正比（因此未知量是$w$），而对偶问题和数据量成正比(因此未知量是$\alpha$)，当特征维数远高于数据量时拉格朗日对偶更高效；
   $$\begin{gathered} w^{T}x+b=0 \\ w与x的维数相同 \\ \alpha 为不等式约束的拉格朗日乘子，为m维， \\ 看上一个式子可知它的下标和x的下标一样均为i，所以为样本个数 \end{gathered}$$

2. 对偶函数能很自然的引入核函数，进而推广到非线性分类问题

参考书籍：《最优化》，《南瓜书》