SVM支持向量机原理详解

SVM

考虑一个二分类问题。假设输入空间与特征空间为两个不同的空间。输入空间为欧式空间或离散集合，特征空间为欧式空间或希尔伯特空间。线性可分支持向量机、线性支持向量机假设这两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量。所以，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。

希尔伯特空间：一个完备的内积空间。$R^n$就是一个完备的内积空间，即Hilbert空间。大部分时候我们的输入$x$都在$R^n$中，因此即使不懂什么叫完备也没关系。

线性可分支持向量机

线性可分即存在一个超平面可以将数据点分为两类，分离超平面为:
$$\begin{array}{r}{w}^{\ast }x+b^{\ast }=0\end{array}\text{\hspace{1em}(1)}$$

决策函数为：

$$f(x)=sign(w^{\ast }x+b^{\ast })\text{\hspace{1em}(2)}$$

SVM最大的特点就是使分离超平面与样本点的最小距离最大，即“最小间隔最大化”。因为距离分离平面越远的点，模型在预测其类别时的置信度就越高。距离最大就引出了SVM的优化目标函数,在这之前首先要介绍函数间隔和几何间隔。

函数间隔

$$\hat{r}=y(wx+b)\text{\hspace{1em}(3)}$$

上式中$y$为样本的类别标签。可以看出，当点$x_i$被正确分类，则其函数间隔大于0，而与其类别无关；反之则一定小于0.对于给定的一组$w,b$，函数间隔的大小也可以代表模型对于分类结果的确信程度。

几何间隔

当$w,b$成比例变化时，函数间隔亦成比例变化，但是分隔超平面没有变化。比如在二维坐标系下$2x_1+4x_2+3=0$与$4x_1+8x_2+6=0$显然为同一条直线，只是系数成比例的变化。这就启发我们可以对每个分离超平面除以它的$||w||$, 由此得到几何间隔：
$$r=y\frac{wx+b}{||w||}\text{\hspace{1em}(4)}$$

事实上，当分类正确时等号右边就是点到直线的距离公式。这样我们就能将SVM公式化为下面的优化问题：

$$\begin{gathered} \underset{w,b}{\max }r \\ s.t.\frac{y_i}{||w||}(w{x}_i+b)\ge r,i=1,2,\dots ,N\text{\hspace{1em}(5)} \end{gathered}$$

其中，限制条件体现了“最小间隔”，目标函数保证了“间隔最大化”。 但是这个最优化问题不好求解，我们需要想办法让问题的形式更简单一点。考虑函数间隔和几何间隔之间的关系，可以将上面的优化问题改写为：

$$\begin{gathered} \underset{w,b}{\max }\frac{\hat{r}}{\Vert w\Vert } \\ s.t.y_i(w{x}_i+b)\ge \hat{r},i=1,2,\dots ,N\text{\hspace{1em}(6)} \end{gathered}$$
根据我们之前的讨论，函数间隔可以任意变化，我们总是可以通过成比例的改变$w,b$来保证得到相同的分离超平面。

证明：假设$r_1=k{r}_2$， 当$\hat{r}=r_2$时解为$w^{\ast },b^{\ast }$,则对于任意的输入$x_i$
$$\begin{array}{rlr}& k{y}_i(w^{\ast }{x}_i+b^{\ast })\ge k{r}_2=r_1,& 满足限制条件\\ & \frac{r_1}{k||w^{\ast }||}=\frac{r_2}{||w^{\ast }||}\ge \frac{r_2}{||w||}=\frac{r_1}{k||w||}，& 满足最优的要求\end{array}$$
故$k{w}^{\ast },k{b}^{\ast }$是$\hat{r}=r_1$的解,显然它与$w^{\ast },b^{\ast }$是同一个解。又因为在线性可分的情形下分离超平面存在且唯一，所以$\hat{r}=r_1$和 r ^ = r 2 \hat{r}=r_2