《统计学习方法》第七章支持向量机学习笔记

一、线性可分支持向量机

定义：给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：

$$w^*\cdot x+b^*=0$$
以及相应的分类决策函数：
$$f(x)=sign{(w^*\cdot x+b^*)}$$
称为线性可分支持向量机。
SVM的分类决策函数和感知机决策函数形式很类似，但是求得的超平面不一样。

1. 函数间隔和几何间隔

函数间隔是人为定义的一个间隔度量，确定的点A到指定超平面的函数间隔不唯一；几何间隔是客观存在的一个间隔度量，确定的点A到指定超平面的几何间隔是唯一的，几何间隔的绝对值实际上就是点到超平面之间的距离，几何间隔的符号表明确定的点A是否被指定的超平面正确分类。
函数间隔定义：对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为：

$$\widehat{\gamma}_i=y_i(w\cdot x_i+b)$$
定义超平面 $(w,b)$ 关于训练数据$T$的函数间隔为超平面 $(w,b)$关于 $T$中所有样本点 $(x_i,y_i)$的函数间隔之最小值，即：
$$\widehat{\gamma}=\min_{i=1,\cdots,N}{\widehat{\gamma}_i}$$
几何间隔定义：对于给定的训练数据集 $T$和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点$(x_i,y_i)$的几何间隔为：
$$\gamma_i=y_i(\frac{w}{\|w\|}\cdot x_i+\frac{b}{\|w\|})$$
定义超平面 $(w,b)$ 关于训练数据$T$的几何间隔为超平面 $(w,b)$关于 $T$中所有样本点 $(x_i,y_i)$的几何间隔之最小值，即：
$$\gamma=\min_{i=1,\cdots,N}{\gamma_i}$$
函数间隔和几何间隔关系： $\gamma_i=\frac{\widehat{\gamma}_i}{\|w\|}$， $\gamma=\frac{\widehat{\gamma}}{\|w\|}$。
两种间隔都表示分类预测的正确性以及确信度。两种间隔若为正，表明分类正确，值越大，正确的确信度越大；若为负，表明分类错误，值越小，分错的程度越大。

2. 学习算法

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对于线性可分的训练数据集，几何间隔最大的分离超平面是唯一的，这里的间隔最大化又称为硬间隔最大化。
间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。即不仅将正负实例点分开，而且对最难分的实例点也有足够大的确信度将它们分开，这样的超平面对未知的新实例也有很好的分类预测能力。

2.1 使用最大间隔构造约束最优化问题

SVM的学习即求出超平面的参数$w$和$b$可以转化为如下的原始约束最优化问题：

$$\begin{align*} &\max_{w,b}\quad \gamma\\ & \begin{array}{r@{\quad}r@{}l@{\quad}l} s.t.&y_i(\frac{w}{\|w\|}\cdot x_i+\frac{b}{\|w\|})\geq \gamma, &i=1,2\ldots,N\\ \end{array} \end{align*}$$
上式中的目标函数的意义是求在几何间隔 $\gamma$取到最大值时 $w$和 $b$的解，这里使用几何间隔而不使用函数间隔的原因是几何间隔有极大值且是唯一的，函数间隔没有极大值。求 $w$和 $b$的实质是求一个超平面，但是一个特定的超平面对应的 $w$和 $b$是不唯一的，可以按比例变化，对应有无数个函数间隔 $\widehat{\gamma}$。即当几何间隔 $\gamma$取到最大值时， $w$和 $b$按比例有无数个解。
利用函数间隔和几何间隔之间的关系可以直接将上面的最优化问题转化为：
$$\begin{align*} &\max_{w,b}\quad \frac{\widehat{\gamma}}{\|w\|}\\ & \begin{array}{r@{\quad}r@{}l@{\quad}l} s.t.&y_i(w\cdot x_i+b)\geq \widehat{\gamma}, &i=1,2\ldots,N\\ \end{array} \end{align*}$$
函数间隔 $\widehat{\gamma}$的取值并不影响最优化问题的解。上式的最优化问题是求几何间隔 $\frac{\widehat{\gamma}}{\|w\|}$取最大值时 $w$和 $b$的值，当几何间隔 $\frac{\widehat{\gamma}}{\|w\|}$取最大值时， $w$和 $b$按比例有无数个值但是均表示同一超平面，函数间隔 $\widehat{\gamma}$随着 $w$和 $b$按比例变化会产生无数值，因此当函数间隔 $\widehat{\gamma}$固定为1时，对目标函数的优化没有任何影响，其几何间隔是唯一的。同时假设将 $w$和 $b$按比例改变为 $\lambda w$和 $\lambda b$，由函数间隔的定义可知，此时函数间隔成为了 $\lambda \widehat{\gamma}$，因此函数间隔的改变对最优化问题的不等式约束也没有任何影响。因此取函数间隔 $\widehat{\gamma}=1$（将函数间隔 $\widehat{\gamma}$固定为1，对于一个特定的超平面相当于将 $w$和 $b$固定了）带入上面的最优化问题，注意到最大化 1∥w