机器学习——支持向量机（SVM）

1. SVM基本型

分离超平面：${\omega }^{T}x+b=0$
间隔边界：${\omega }^{T}x+b=\pm 1$
支持向量：$y_i({\omega }^T{x}_i+b)=1$

原始问题

$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2$$$$s.t.1-y_i({\omega }^T{x}_i+b)\le 0,i=1,2,...,n$$

变量：$\omega =({\omega }_1,{\omega }_2,...,{\omega }_d{)}^T,b$
约束：$n$个不等式约束

模型推导：
样本点$x$到超平面$(\omega ,b)$的距离$d=\frac{|{\omega }^{T}x+b|}{||\omega ||}$，我们可以对$(\omega ,b)$进行适当缩放，最终使得在支持向量$x_0$上有$|{\omega }^T{x}_0+b|=\pm 1$，此时支持向量到超平面的距离为$\frac{1}{||\omega ||}$。
间隔定义为两个异类支持向量到超平面的距离之和，即$\frac{2}{||\omega ||}$，优化目标转化为最大化$\frac{2}{||\omega ||}$，也就是最小化$||\omega ||$或$||\omega |{|}^2$，此处带有$\frac{1}{2}$的原因是便于后续求导。
约束条件的意义在于所有样本点都需要满足该硬性条件，我愿称之为“硬间隔”。

对偶问题

$$\underset{\lambda }{\min }\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{y}_i{y}_j{x}_i^T{x}_j{\lambda }_i{\lambda }_j-{\Sigma }_{i=1}^n{\lambda }_i$$$$s.t.{\Sigma }_{i=1}^n{\lambda }_i{y}_i=0,$$$${\lambda }_i\ge 0,i=1,2,...,n$$

模型推导：
采用拉格朗日乘子法，定义拉格朗日函数：$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2+{\Sigma }_{i=1}^n{\lambda }_i(1-y_i({\omega }^T{x}_i+b)),{\lambda }_i\ge 0$$令$L(\omega ,b,\alpha )$对$\omega$和$b$的偏导为0可得：$$\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i$$$$0={\Sigma }_{i=1}^n{\lambda }_i{y}_i$$将$\omega$代入拉格朗日函数中即得对偶模型。

KKT条件

原始问题为极大极小问题（推导见下），即：$\underset{\omega ,b}{\min }\underset{\lambda \ge 0}{\max }L(\omega ,b,\alpha )$；
而对偶问题为极小极大问题（由定义），即：$\underset{\lambda \ge 0}{\max }\underset{\omega ,b}{\min }L(\omega ,b,\alpha )$。

原问题为凸优化问题，当$f(x),g(x)$为凸函数，且可行域中至少有一点使不等式约束严格成立时，强对偶性成立，对偶问题等价于原问题。即需要满足$KKT$条件：$$\{\begin{array}{l}\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i,0={\Sigma }_{i=1}^n{\lambda }_i{y}_i\\ {\lambda }_i\ge 0\\ {\lambda }_i[1-y_i({\omega }^T{x}_i+b)]=0\\ 1-y_i({\omega }^T{x}_i+b)\le 0\end{array}$$

KKT条件推导如下：

当约束不起作用时，极小值在可行域内某处取得，而不在边界处取得，故此时$g(x^{\ast })<0$，$g(x)$不起作用，故$\lambda =0$，由极小值点梯度为零知${\nabla }_{x}f(x^{\ast })=0$。
当约束起作用时，极小值在可行域边界处取得，故此时$g(x^{\ast })=0$，易知$\lambda >0$，故由极小值点梯度为零知$-{\nabla }_{x}f(x^{\ast })=\lambda {\nabla }_{x}f(x^{\ast })$。

于是我们得到KKT条件，即$x^{\ast }$是局部最小的等价条件为，存在唯一的${\lambda }^{\ast }$，使得：$$\{\begin{array}{l}{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast })=0\\ {\lambda }^{\ast }\ge 0\\ {\lambda }^{\ast }g(x^{\ast })=0\\ g(x\ast )\le 0\end{array}$$

支持向量的探讨

假设已知支持向量$(x_s,y_s)$，易知$y_s({\omega }^T{x}_s+b)-1=0$，又已知$\omega ={\Sigma }_{i=1}^n{\lambda }_i{y}_i{x}_i$，故$b=y_s-{\omega }^T{x}_s=y_s$