Chapter 6 SVM

#第六章 支持向量机

---

6.1 间隔与支持向量机

分类学习最基本的想法就是基于训练集D再样本空间中找到一个最鲁棒的划分超平面。它可用如下线性方程来描述：
$$w^{T}x+b=0$$
其中，w被称为法向量，可用于描述超平面的方向，b为位移项，决定超平面到原点的距离。显然这两项决定了划分超平面，可以证明样本空间中任意点$\mathbf{x}$到超平面距离可写为：
$$r=\frac{|w^T\mathbf{x}+\mathbf{b}|}{||w||}$$
若有超平面$(w,b)$能将训练样本正确分类，那么距离该平面最近的几个训练样本点会使得
$$\{\begin{array}{ll}{w}^T{x}_i+b\ge +1,& y_i=+1\\ w^T{x}_i+b\le -1,& y_i=-1\end{array}$$
那这样的几个训练样本点我们称其为“支持向量”，两个异类支持向量到超平面的距离之和称为"间隔"（margin）：$\gamma =2/||w||$。
为了找到间隔最大的划分超平面，也就是要求：
$$\begin{gathered} ma{x}_{w,b}\frac{2}{||w||} \\ s.t.y_i(w^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,m \end{gathered}$$
上面涉及的最大化$||w|{|}^{-1}$等价于最小化$||w|{|}^2$,即：
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,m\text{\hspace{1em}(6.1)} \end{gathered}$$
这就是SVM的基本型

6.2 对偶问题

首先,我们要求（6.1）的话，这本身是一个凸优化的问题，显然能用现成的优化计算包求解，但还有更为高效的方法————拉格朗日乘子法，可得到其对偶问题：即对式（6.1）的每条约束添加一个拉格朗日乘子${\alpha }_i\ge 0$(不等式约束),那么该问题的朗格朗日函数可写为：
$$L(w,b,\alpha )=1/2||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))\text{\hspace{1em}(6.2)}$$
对$L(w,b,\alpha )$求偏导为0，最后可得出（6.1）的对偶问题（下6.3），求解（6.2）中的拉格朗日算子：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^m{\alpha }_i-1/2\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,...,m\text{\hspace{1em}(6.3)} \end{gathered}$$
求解该式是一个二次规划问题，但鉴于实际处理时，有时候样本数过大，导致通用的求解二次规划算法如拉格朗日等方法并不适用，为了避免障碍，人们通过利用问题本身的特性，提出如SMO（Sequential Minimal Optimization） 等多种高效算法。

最终模型为：$$f(x)=w^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b$$
注意，由于（6.1）中有不等式约束，所以上述过程还须满足KKT（Karchur-Kuhn-Tucker）条件：
$$\begin{gathered} alph{a}_i\ge 0; \\ {y}_{i}f(x_i)-1\ge 0; \\ {\alpha }_i(y_{i}f(x_i)-1)=0. \end{gathered}$$
SMO基本思路：先选择两个变量${\alpha }_i$和${\alpha }_j$并固定其他参数，这样，在初始化参数后，不断执行以下步骤：

• 选取一对需更新的变量${\alpha }_i$