《机器学习》周志华(西瓜书)学习笔记 第六章 支持向量机

机器学习 周志华 学习笔记

总目录

The more fluent you become in math,the more unstoppable you will be in anying you want to do in life

第六章 支持向量机

6.1 间隔与支持向量

给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\} D={ (x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)}, y i ϵ { − 1 , + 1 } y_i \epsilon\{-1,+1\} yi​ϵ{ −1,+1}

分类学习的最基本思想就是：基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开

在样本空间中，划分超平面可以通过以下线性方程表示：
$$w^{T}x+b=0$$
其中

• $w=(w_1,w_2,\cdots ,w_d)$ 为法向量，决定了超平面的方向；
• b为位移项，决定了超平面与原点之间的距离。

显然，划分超平面可被法向量$w$和$b$确定，下面我们将其记为$(w,b)$

样本空间任意衣点$x$到超平面$(\mathbf{w},\mathbf{x})$的距离可写为：
$$\gamma =\frac{|w^{T}x+b|}{||w||}$$

假设超平面$(\mathbf{w},\mathbf{b})$能将训练样本正确分类，即对于$(x_i,y_i)ϵD$,若$y_i=+1$，则有
${\mathbf{\omega }}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b>0$,若$y_i=-1$，则有${\mathbf{\omega }}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b<0$.
令
$${\omega }^T{x}_i+b\ge +1,y_i=+1$$
$${\omega }^T{x}_i+b\le -1,y_i=-1$$
距离超平面最近的这几个训练样本点使上式等号成立，他们被称为“支持向量”，两个异类支持向量到超平面的距离之和为"间隔"(margin)：
$$\gamma =\frac{2}{||\omega ||}$$

欲找到具有“最大间隔”（maximum margin）的划分超平面，即：
$$\underset{w,b}{\max }\frac{2}{||\omega ||}$$

$$s.t.y_i({\omega }^T{x}_i+b)\ge 1,i=1,2,\cdots ,m$$

显然，为了最大化间隔，仅需最大化$||\omega |{|}^{-1}$,这等价于最小化$||\omega |{|}^2$,于是，上式可重写为：
$$\underset{w,b}{\min }\frac{1}{2}||\omega |{|}^2$$
$$s.t.y_i({\omega }^T{x}_i+b)\ge 1,i=1,2,\cdots ,m$$
这就是支持向量机(Support Vector Machine)的基本型

6.2 对偶问题

• 上述问题是一个凸二次规划问题，能直接用现成的优化计算包求解。但是我们可以有更加高效的方法.对上式使用拉格朗日乘子法可得到其“对偶问题”（dual problem）

对上式的每条约束添加拉格朗日乘子${\alpha }_i\ge 0$ ，该问题的拉格朗日函数可写为：
$$L(w,b,\alpha )=\frac{1}{2}||{\omega }^2||+\sum _{i=1}^m{\alpha }_i(1-y_i({\omega }^T{x}_i+b))$$

对$\mathbf{\omega }$和$b$求偏导为零可得：
ω = ∑ i = 1 m α i y i x i \omega=\sum_{i=1}^m\alpha_iy_ix_i ω=i=1∑m​αi​y