SVM

目录

支持向量机（SVM）
函数间隔与几何间隔
间隔最大化
拉格朗日对偶性
KKT条件
SVM的对偶算法

---

支持向量机（SVM）

支持向量机是一种二分类模型，其学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题。
给定线性可分数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\lbrace(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\rbrace T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，通过间隔最大化可以得到分离超平面为：
$$w^{T}x+b=0$$

以及相应的分类决策函数：
$$f(x)=sign(w^{T}x+b)$$

该决策函数称为线性可分支持向量机。

---

函数间隔与几何间隔

在超平面$w^{T}x+b=0$确定的情况下：

• $|w^{T}x+b|$能够相对地表示点$x$距离超平面的远近；
• $w^{T}x+b$与$y$的符号是否一致能够表示分类是否正确。

所以可以用量 $y(w^{T}x+b)$ 表示分类的正确性及确信度，称为函数间隔。

但只要成比例地改变$w$和$b$，函数间隔也会成倍地发生变化， 因此要通过规范化使得间隔确定，函数间隔变为几何间隔：
$${\gamma }_i=y_i\left(\frac{w}{||w||}{x}_i+\frac{b}{||w||}\right)$$

其中$||w||$为$w$的$L_2$范数。
函数间隔与几何间隔的关系为：$$\gamma =\frac{\hat{\gamma }}{||w||}$$

如果$||w||=1$，那么函数间隔和几何间隔想等，如果$w$和$b$成比例变化，函数间隔会改变，而几何间隔不变。

---

间隔最大化

线性可分分离超平面有无穷多个，但是几何间隔最大的分离超平面是唯一的，间隔最大化又称为硬间隔最大化。
求几何间隔最大的分离超平面等价于以下问题：
$$\begin{array}{rlr}& \underset{w,b}{\max }\gamma & \\ & & \\ & s.t.y_i\left(\frac{w}{||w||}{x}_i+\frac{b}{||w||}\right)\ge \gamma ,i=1,2,...,N& \end{array}$$

利用函数间隔与几何间隔之间的关系，将问题改写为：
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}\\ & \\ & s.t.y_i(w^T{x}_i+b)\ge \hat{\gamma },i=1,2,...,N\end{array}$$

函数间隔的取值并不影响最优化问题的求解，因此可以将$\hat{\gamma }=1$代入上面的最优化问题，同时最大化$\frac{1}{||w||}$与最小化$\frac{1}{2}||w|{|}^2$是等价的，则有：
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{1}{2}||w|{|}^2\\ & \\ & s.t.y_i(w^T{x}_i+b)-1\ge 0,i=1,2,...,N\end{array}$$

---

拉格朗日对偶性

在约束最优化问题中，常常利用拉格朗日对偶性（Lagrance duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。
这样的优点是：

• 一是对偶问题更容易求解；
• 二是自然引入核函数，进而推广到非线性分类问题。

原始问题

假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数。考虑约束最优化问题
$$\begin{array}{rlr}& \underset{x\in R^n}{\min }f(x)& \\ & & \\ & s.t.c_i(x)\le 0,i=1,2,...,k& \\ & h_j(x)=0,j=1,2,...,l& \end{array}$$

称此约束最优化问题为原始问题。

广义拉格朗日函数（generalized Lagrange function）

$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

其中，${\alpha }_i,{\beta }_i$是拉格朗日乘子，特别要求${\alpha }_i\ge 0$.

考虑x的函数：
$${\theta }_p(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$

假设给定某个$x$,如果$x$违反原始问题的约束条件，即存在某个$i$使得$c_i(x)>0$或者存在某个$j$使得$h_j(x)≠0$，那么就有：
$${\theta }_p(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }[f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)]=+\infty$$

• 若存在某个$i$使得$c_i(x)>0$，则可令${\alpha }_i\to +\infty$；
• 若存在某个$j$使得$h_j(x)≠0$，则可令${\beta }_j{h}_j(x)\to +\infty$；
• 而将其余各${\alpha }_i,{\beta }_j$均取为0。

结论为：

• 当$x$违反原问题的约束条件时，${\theta }_P(x)=+\infty$;
• 当$x$满足原问题的约束条件时，${\theta }_P(x)=f(x)$.

在这个基础上再考虑极小化问题：
$$\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$

将原始最优化问题表示为广义拉格朗日函数的极小极大问题。

对偶问题

将广义拉格朗日函数的极大极小问题表示为约束最优化问题，称为原始问题的对偶问题：
$$\begin{array}{rlr}& \underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )& \\ & s.t.{\alpha }_i\ge 0,i=1,2,...,k& \end{array}$$

原始问题和对偶问题的关系

满足Karush-Kuhn-Tucker(KKT)的条件下，原始问题和对偶问题的最优解相等，这时可以用解对偶问题替代解原始问题。

---

KKT条件

$x^{\ast }$和${\alpha }^{\ast }，{\beta }^{\ast }$分别是KKT是原始问题和对偶问题的解的充分必要条件是$x^{\ast }，{\alpha }^{\ast }，{\beta }^{\ast }$满足KKT条件：
▽ x L ( x ∗ , α ∗ , β ∗ ) = 0 α i ∗ c i ( x ∗ ) = 0 , i = 1 , 2 , . . . , k c i ( x ∗ ) ≤ 0 , i = 1 , 2 , . . . , k α i ∗ ≥ 0 , i = 1 , 2 , . . . , k h j ( x ∗ ) = 0 , j = 1 , 2 , . . . , l \begin {aligned} &\bigtriangledown_xL(x^*,\alpha^*,\beta^*) = 0 &\\ &\\ &\alpha_i^*c_i(x^*) = 0, \quad i = 1,2,...,k &\\ &\\ &c_i(x^*) \le 0, \quad i = 1,2,...,k &\\ &\\ &\alpha_i^*\ge0,\quad i = 1,2,...,k &\\ &\\ &h_j(x^*)=0,\quad j = 1,2,...,l \end{aligned} ​▽x​L(x∗,α∗,β∗)=0αi∗​ci​(x∗)=0,i=1,2,...,kci​(x∗)≤0,i=1,2,...,kαi∗​≥0,i=1,2,...,khj​(x∗)=0,j=1,2,...,l​​

其中，${\alpha }_i^{\ast }\ge 0,i=1,2,...,k$ 称为KKT的对偶互补条件。
由此条件可知：若${\alpha }_i^{\ast }>0，则c_i(x^{\ast })=0$.

---

SVM的对偶算法

结合SVM的约束最优化问题和广义拉格朗日函数，可以得出：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{a}_i{y}_i(w^T{x}_i+b)+\sum _{i=1}^N{a}_i$$

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

为了达到对偶问题的解，先求$L(w,b,a)$对w和b的极小，再求a的极大：
$$\begin{array}{rl}& {▽}_w=w-\sum _{i=1}^N{a}_i{y}_i{x}_i=0\\ & \\ & {▽}_b=-\sum _{i=1}^N{a}_i{y}_i=0\end{array}$$

得：
$$\begin{array}{rl}& w=\sum _{i=1}^N{a}_i{y}_i{x}_i\\ & \sum _{i=1}^N{a}_i{y}_i=0\end{array}$$

将上式代入$L(w,b,a)$，得：
$$\begin{array}{rl}\min L(w,b,a)& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{a}_i{y}_i((\sum _{j=1}^N{a}_j{y}_j{x}_j)\cdot x_i+b)+\sum _{j=1}^N{a}_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{j=1}^N{a}_i\end{array}$$

再求对$\alpha$的极大，即是对偶问题：
$$\begin{array}{rl}& \underset{a}{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{j=1}^N{a}_i\\ & s.t.\sum _{i=1}^N{a}_i{y}_i=0\\ & a_i\ge 0,i=1,2,...,N\end{array}$$

等价于：
$$\begin{array}{rl}& \underset{a}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{j=1}^N{a}_i\\ & s.t.\sum _{i=1}^N{a}_i{y}_i=0\\ & a_i\ge 0,i=1,2,...,N\end{array}$$

根据KKT条件：
$$\begin{array}{rlr}& {▽}_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-\sum _{i=1}^N{a}_i^{\ast }{y}_i{x}_i=0& \\ & & \\ & {▽}_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{a}_i^{\ast }{y}_i=0& \\ & & \\ & {\alpha }_i^{\ast }(1-y_i(w^{\ast }\cdot x_i+b^{\ast }))=0,i=1,2,...,N& \\ & & \\ & 1-y_i(w^{\ast }\cdot x_i+b^{\ast })\le 0,i=1,2,...,N& \\ & & \\ & {\alpha }_i^{\ast }\ge 0,i=1,2,...,N& \\ & & \end{array}$$

其中至少有一个$a_j^{\ast }>0$，对于$j$有：
$$1-y_j(w^{\ast }\cdot x_j+b^{\ast })=0$$

解得：
$$\begin{array}{rl}& w^{\ast }=\sum _{i=1}^N{a}_i^{\ast }{y}_i{x}_i\\ & \\ & b^{\ast }=y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i(x_i\cdot x_j)\end{array}$$

故分类决策函数为：
$$f(x)=sign(\sum _{i=1}^N{a}_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$

---

参考资料

李航《统计学习方法》