#第六章 支持向量机
6.1 间隔与支持向量机
分类学习最基本的想法就是基于训练集D再样本空间中找到一个最鲁棒的划分超平面。它可用如下线性方程来描述:
wTx+b=0w^Tx+b=0wTx+b=0
其中,w被称为法向量,可用于描述超平面的方向,b为位移项,决定超平面到原点的距离。显然这两项决定了划分超平面,可以证明样本空间中任意点x\bf xx到超平面距离可写为:
r=∣wTx+b∣∣∣w∣∣r=\frac{|w^T\bf x+b|}{||w||}r=∣∣w∣∣∣wTx+b∣
若有超平面(w,b)(w,b)(w,b)能将训练样本正确分类,那么距离该平面最近的几个训练样本点会使得
{
wTxi+b≥+1,yi=+1wTxi+b≤−1,yi=−1\begin{cases}w^Tx_i+b\geq +1,&y_i=+1\\ w^Tx_i+b\leq -1,&y_i=-1\end{cases}{
wTxi+b≥+1,wTxi+b≤−1,yi=+1yi=−1
那这样的几个训练样本点我们称其为“支持向量”,两个异类支持向量到超平面的距离之和称为"间隔"(margin):γ=2/∣∣w∣∣\gamma=2/||w||γ=2/∣∣w∣∣。
为了找到间隔最大的划分超平面,也就是要求:
maxw,b2∣∣w∣∣s.t.yi(wTxi+b)≥1,i=1,2,...,m max_{w,b} \quad\frac{2}{||w||}\\ s.t. y_i(w^T{\bf x_i}+b)\geq 1,i=1,2,...,m maxw,b∣∣w∣∣2s.t.yi(wTxi+b)≥1,i=1,2,...,m
上面涉及的最大化∣∣w∣∣−1||w||^{-1}∣∣w∣∣−1等价于最小化∣∣w∣∣2||w||^{2}∣∣w∣∣2,即:
(6.1)minw,b12∣∣w∣∣2s.t.yi(wTxi+b)≥1,i=1,2,...,m min_{w,b}\quad \frac{1}{2}{||w||^2}\\ s.t. y_i(w^T{\bf x_i}+b)\geq 1,i=1,2,...,m\tag{6.1} minw,b21∣∣w∣∣2s.t.yi(wTxi+b)≥1,i=1,2,...,m(6.1)
这就是SVM的基本型
6.2 对偶问题
首先,我们要求(6.1)的话,这本身是一个凸优化的问题,显然能用现成的优化计算包求解,但还有更为高效的方法————拉格朗日乘子法,可得到其对偶问题:即对式(6.1)的每条约束添加一个拉格朗日乘子αi≥0\alpha_i\geq0αi≥0(不等式约束),那么该问题的朗格朗日函数可写为:
(6.2)L(w,b,α)=1/2∣∣w∣∣2+∑i=1mαi(1−yi(wTxi+b))L(w,b,\alpha)=1/2||w||^2+\sum_{i=1}^m\alpha_i(1-y_i(w^Tx_i+b))\tag{6.2}L(w,b,α)=1/2∣∣w∣∣2+i=1∑mαi(1−yi(wTxi+b))(6.2)
对L(w,b,α)L(w,b,\alpha)L(w,b,α)求偏导为0,最后可得出(6.1)的对偶问题(下6.3),求解(6.2)中的拉格朗日算子:
(6.3)maxα ∑i=1mαi−1/2∑i=1m∑j=1mαiαjyiyjxiTxjs.t∑i=1mαiyi=0,αi≥0,i=1,2,...,m max_\alpha\ \ \ \sum_{i=1}^m\alpha_i-1/2\sum_{i=1}^m\sum_{j=1}^m\alpha_i\alpha_jy_iy_jx_i^Tx_j\\ s.t \sum_{i=1}^m\alpha_iy_i=0,\\ \alpha_i\geq0,i=1,2,...,m\tag{6.3} maxα i=1∑mαi−1/2i=1∑mj=1∑mαiαjyiyjxiTxjs.ti=1∑mαiyi=0,αi≥0,i=1,2,...,m(6.3)
求解该式是一个二次规划问题,但鉴于实际处理时,有时候样本数过大,导致通用的求解二次规划算法如拉格朗日等方法并不适用,为了避免障碍,人们通过利用问题本身的特性,提出如SMO(Sequential Minimal Optimization) 等多种高效算法。
最终模型为:f(x)=wTx+b=∑i=1mαiyixiTx+bf(x)=w^Tx+b=\sum_{i=1}^m\alpha_iy_ix_i^Tx+b f(x)=wTx+b=i=1∑mαiyixiTx+b
注意,由于(6.1)中有不等式约束,所以上述过程还须满足KKT(Karchur-Kuhn-Tucker)条件:
alphai≥0;yif(xi)−1≥0;αi(yif(xi)−1)=0. alpha_i\geq0;\\ y_if(x_i)-1\geq0;\\ \alpha_i(y_if(x_i)-1)=0. alphai≥0;yif(xi)−1≥0;αi(yif(xi)−1)=0.
SMO基本思路:先选择两个变量αi\alpha_iαi和αj\alpha_jαj并固定其他参数,这样,在初始化参数后,不断执行以下步骤:
- 选取一对需更新的变量αi和αj\alpha_i和\alpha_jαi