支持向量机（Support Vector Machine，SVM）简单介绍

1. SVM 的优化目标

前面讲了逻辑回归，SVM 和逻辑回归是很像的，我们试着从逻辑回归过渡到 SVM。

(图1)

如 (图1) 所示，在逻辑回归中，输入样本特征为 $\mathbf{x}$，模型参数为 $\mathbf{\theta }$。

当样本标签为 $y=1$ 时，我们希望假设函数输出 $h_{\mathbf{\theta }}(\mathbf{x})\approx 1$，也就是说希望 ${\mathbf{\theta }}^T\mathbf{x}$ 远大于 $0$。（${\mathbf{\theta }}^T\mathbf{x}\gg 0$）
当样本标签为 $y=0$ 时，我们希望假设函数输出 $h_{\mathbf{\theta }}(\mathbf{x})\approx 0$，也就是说希望 ${\mathbf{\theta }}^T\mathbf{x}$ 远小于 $0$。（${\mathbf{\theta }}^T\mathbf{x}\ll 0$）

进一步观察逻辑回归的代价函数，对于单个样本：$$\text{Cost}(h_{\mathbf{\theta }}\left(\mathbf{x}\right),y)=-\left(y\cdot \log (h_{\mathbf{\theta }}(\mathbf{x}))+(1-y)\cdot \log (1-h_{\mathbf{\theta }}(\mathbf{x}))\right)$$代入 $h_{\mathbf{\theta }}(\mathbf{x})$ ：$$\text{Cost}(h_{\mathbf{\theta }}\left(\mathbf{x}\right),y)=-y\log (\frac{1}{1+e^{-{\mathbf{\theta }}^T\mathbf{x}}})-(1-y)\cdot \log (1-\frac{1}{1+e^{-{\mathbf{\theta }}^T\mathbf{x}}})\text{\hspace{1em}(1)}$$

---

当 $y=1$ 时，式子(1)蓝色部分没有了。

此时代价函数 $\text{Cost}=-\log (\frac{1}{1+e^{-{\mathbf{\theta }}^T\mathbf{x}}})$，函数曲线如下：

这里用 $z$ 代替 ${\mathbf{\theta }}^T\mathbf{x}$。为了让代价函数更小， $z$ 会尽量往右边靠。

一般在 SVM 中，我们会换一种代价函数，如下图右边的曲线：

它和原来的形状很像，由两条直线线段组成。它的计算更方便，更适合 SVM 的优化。

---

当 $y=0$ 时，式子(1)红色部分没有了。

此时代价函数 $\text{Cost}=-\log (1-\frac{1}{1+e^{-{\mathbf{\theta }}^T\mathbf{x}}})$，函数曲线如下：

$z$ 会尽量往左边靠。同样地，对于 SVM，我们给它换一个代价函数：

---

现在我们再来写出完整的代价函数。

逻辑回归的代价函数：
$$\underset{\theta }{\min }\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}\left(-\log \left(h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})\right)\right)+(1-y^{(i)})\left(-\log \left(1-h_{\mathbf{\theta }}({\mathbf{x}}^{(i)})\right)\right)\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

然后把红色和蓝色的部分换成前面讲的：
$$\underset{\theta }{\min }\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}{\text{cost}}_1({\mathbf{\theta }}^T{\mathbf{x}}^{(i)})+(1-y^{(i)}){\text{cost}}_0({\mathbf{\theta }}^T{\mathbf{x}}^{(i)})\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

然后，常数项并不影响代价函数的优化，所以可以去掉 $\frac{1}{m}$。同时把正则化权重 $\lambda$ 换到左边的式子，用 $C$ 表示：
$$\underset{\theta }{\min }C\left[\sum _{i=1}^m{y}^{(i)}{\text{cost}}_1({\mathbf{\theta }}^T{\mathbf{x}}^{(i)})+(1-y^{(i)}){\text{cost}}_0({\mathbf{\theta }}^T{\mathbf{x}}^{(i)})\right]+\sum _{j=1}^n{\theta }_j^2\text{\hspace{1em}(2)}$$

你也可以当做是 $C=\frac{1}{\lambda }$，$C$ 同样是正则化权重，决定我们更关心左边式子的优化还是右边式子的优化。

所以 式子(2) 就是支持向量机（SVM）的整个优化目标函数。 当你最小化这个函数，就得到了 SVM 的参数。

得到参数 $\mathbf{\theta }$ 后，当 ${\mathbf{\theta }}^T\mathbf{x}⩾0$ 时，SVM 的假设函数 $h_{\mathbf{\theta }}(\mathbf{x})$ 直接输出 $1$；否则直接输出 $0$。

2. 大间距的理解

人们有时将支持向量机看作是大间距分类器（Large Margin Classifier），我们来看看这是怎么回事。

在逻辑回归中，对于 $y=1$ 和 $y=0$ 的输出，只需要 ${\mathbf{\theta }}^T\mathbf{x}⩾0$ 和 ${\mathbf{\theta }}^T\mathbf{x}⩽0$：
$$\{\begin{array}{c}y=1{\mathbf{\theta }}^T\mathbf{x}⩾0\\ y=0{\mathbf{\theta }}^T\mathbf{x}⩽0\end{array}$$

而在 SVM 中，我们需要 ${\mathbf{\theta }}^T\mathbf{x}⩾1$ 和 ${\mathbf{\theta }}^T\mathbf{x}⩽-1$：
$$\{\begin{array}{c}y=1{\mathbf{\theta }}^T\mathbf{x}⩾1\\ y=0{\mathbf{\theta }}^T\mathbf{x}⩽-1\end{array}\text{\hspace{1em}(3)}$$

从这里可以看出，SVM 的要求会更严格一点。

当 $C$ 设得很大时，SVM 会得到一个比较大的分类间距：

普通的分类器只是简单地把两个类分开，勉强分开就行了。
而 SVM 会努力用一个最大的间距来分离样本，所以有时 SVM 被大间距分类器。

如果这个时候出现了一个异常样本，继续用大的 $C$ 值，就会像下面这样：

异常样本的出现，使它变得和普通分类器一样，不再具有大间隔。
虽然也能分开样本，但是没有完全分开，体现不出 SVM 的优势。

这个时候把 $C$ 调小一点就好了。
当 $C$ 不是非常非常大的时候，它可以忽略掉一些异常点的影响，得到更好的决策界。

回顾 $C=\frac{1}{\lambda }$，可以得知：
$C$ 较大时，相当于 $\lambda$ 较小，可能会导致过拟合，高方差。
$C$ 较小时，相当于 $\lambda$ 较大，可能会导致低拟合，高偏差。

3. 大间距分类器的数学理解

先介绍一下向量内积：

设有两个向量 $\mathbf{u}$ 和 $\mathbf{v}$：
$$\mathbf{u}=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right]\mathbf{v}=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$$ 则向量的内积为 $$\mathbf{u}\cdot \mathbf{v}={\mathbf{u}}^T\mathbf{v}=\left[\begin{array}{c}{u}_1{u}_2\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]=u_1{v}_1+u_2{v}_2$$

也可以表示为$$\mathbf{u}\cdot \mathbf{v}=\Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert \cos \theta$$

其中 $\Vert \mathbf{v}\Vert$ 表示向量 $\mathbf{v}$ 的范数，或者说向量的模长：$\Vert \mathbf{v}\Vert =\sqrt{v_1^2+v_2^2}$

从几何上看，$p$ 为 $\mathbf{v}$ 在 $\mathbf{u}$ 上的投影，是一个长度：$p=\Vert \mathbf{v}\Vert \cos \theta$

所以又可以写成：$${\mathbf{u}}^T\mathbf{v}=p\cdot \Vert \mathbf{u}\Vert$$

$p$ 可能是负数，例如这样的情况：

夹角 $\theta$ 大于 $90$ 度，$\cos \theta$ 为负数，因此 $p$ 为负数。

---

现在用一个特定的例子来分析大间距产生的原理。

假设我们的模型参数是 2 个（${\theta }_1，{\theta }_2$），输入也是 2 个（$x_1，x_2$）， ${\mathbf{\theta }}^T\mathbf{x}={\theta }_1{x}_1+{\theta }_2{x}_2$ 。

把参数 $\mathbf{\theta }$ 和输入 $\mathbf{x}$ 都看做向量，根据上面介绍的内积知识，有：
$${\mathbf{\theta }}^T\mathbf{x}=p\cdot \Vert \mathbf{\theta }\Vert$$ 其中 $p$ 是向量 $\mathbf{x}$ 在向量 $\mathbf{\theta }$ 上的投影长度：

根据某些数学原理，向量 $\mathbf{\theta }$ 一定是垂直于决策边界的。

再看回我们的代价函数：
$$\underset{\theta }{\min }C\left[\sum _{i=1}^m{y}^i{\text{cost}}_1({\mathbf{\theta }}^T{\mathbf{x}}^i)+(1-y^i){\text{cost}}_0({\mathbf{\theta }}^T{\mathbf{x}}^i)\right]+\sum _{j=1}^n{\theta }_j^2\text{\hspace{1em}(4)}$$

由于 $\mathbf{\theta }$ 是一个向量，当忽略 ${\theta }_0$ 时，式子(4)右边的 $\sum _{j=1}^n{\theta }_j^2$ 可以看做是 $\mathbf{\theta }$ 的模长： $\Vert \mathbf{\theta }{\Vert }^2$。

在最小化代价函数时，当样本标签为 $y=1$ 时：

$\bullet$ 根据式子(3)，我们希望 ${\mathbf{\theta }}^T\mathbf{x}$ 远大于 $1$，即 $p\cdot \Vert \mathbf{\theta }\Vert$ 尽量大。
$\bullet$ 根据式子(4)，我们希望 $\sum _{j=1}^n{\theta }_j^2$ 尽量小，即 $\Vert \mathbf{\theta }{\Vert }^2$ 尽量小。

要满足上述约束，只能使 $p$ 尽量大。所以最小化代价函数的过程会使 $p$ 变大。

$p$ 是 $\mathbf{x}$ 在 $\mathbf{\theta }$ 上投影的长度，样本 $\mathbf{x}$ 已经确定，所以 $\mathbf{\theta }$ 决定了 $p$ 的大小。

上面的图展示了 2 种情况，形象地说，$\mathbf{\theta }$ 指向样本聚集点时，$p$ 最大，分类间距最大。

结合上述所讲，优化结束时使得 $p$ 值较大，对应参数 $\mathbf{\theta }$，也得到最大决策边界。

4. 核函数 (kernels)

如上图所示，这种复杂的决策边界，没办法用线性模型来表示。

像之前用的 ${\mathbf{\theta }}^T\mathbf{x}={\theta }_1{x}_1+{\theta }_2{x}_2$ 是无法做到的。

可能需要用到高级数的多项式模型，如：$${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+\cdots$$

$x_1$ 和 $x_2$ 可以有很多组合方式，每种组合方式表示一种特征。我们用 $f$ 来表示特征：

例如 $f_1=x_1，f_2=x_2，f_3=x_1{x}_2，f_4=x_1^2，f_5=x_2^2$

则 $h_{\mathbf{\theta }}(\mathbf{x})={\theta }_1{f}_1+{\theta }_2{f}_2+\cdots +{\theta }_n{f}_n$

上面这样的特征组合形式太多了，有没有更好的办法来定义特征呢？我们可以用 核函数（kernels） 来计算。

举一个例子，现在有一组训练样本 $\mathbf{x}$，我们先选出一组 地标（landmarks）：${\mathbf{l}}^{(1)}$，${\mathbf{l}}^{(2)}$，${\mathbf{l}}^{(3)}$。
根据 $\mathbf{x}$ 与地标之间的近似程度来选取特征 $f_1$，$f_2$，$f_3$。

例如：$$f_1=\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(1)})=\exp \left(-\frac{\Vert \mathbf{x}-{\mathbf{l}}^{(1)}{\Vert }^2}{2{\sigma }^2}\right)$$

其中 $\Vert \mathbf{x}-{\mathbf{l}}^{(1)}{\Vert }^2$ 表示向量 $\mathbf{x}$ 与向量 ${\mathbf{l}}^{(1)}$ 之间的欧氏距离。

同理 $$\begin{gathered} f_2=\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(2)})=\exp \left(-\frac{\Vert \mathbf{x}-{\mathbf{l}}^{(2)}{\Vert }^2}{2{\sigma }^2}\right) \\ {f}_3=\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(3)})=\exp \left(-\frac{\Vert \mathbf{x}-{\mathbf{l}}^{(3)}{\Vert }^2}{2{\sigma }^2}\right) \end{gathered}$$

这个 $\text{similarity}$ 就叫做核函数（kernel function），而这里实际上就是个高斯核函数(Gaussian Kernel)。
除了这个高斯核函数，还有其它的相似度度量函数，也就是别的核函数，之后再介绍。
为了简单起见，也把 $\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(3)})$ 写成 $k(\mathbf{x}，{\mathbf{l}}^{(3)})$。

下面来讲为什么核函数和地标有效。

把欧式距离展开：$$f_1=\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(1)})=\exp \left(-\frac{\Vert \mathbf{x}-{\mathbf{l}}^{(1)}{\Vert }^2}{2{\sigma }^2}\right)=\exp \left(-\frac{{\sum }_{j=1}^n(x_j-l_j^{(1)}{)}^2}{2{\sigma }^2}\right)$$
假设有一个样本 $\mathbf{x}$ 与地标 ${\mathbf{l}}^{(1)}$ 很近， 那么欧式距离很小：
$$f_1\approx \exp \left(-\frac{0}{2{\sigma }^2}\right)\approx 1$$

如果样本 $\mathbf{x}$ 与地标 ${\mathbf{l}}^{(1)}$ 很远，那么欧式距离很大：
$$f_1\approx \exp \left(-\frac{\infty }{2{\sigma }^2}\right)\approx 0$$

其实在这个例子里 $f_1$ 就是一个二维的高斯函数（Gaussian Function）。

假设我们的地标 ${\mathbf{l}}^{(1)}=(3,5)$，则它的图像如下：

中心点 (那个山峰) 的 $f_1$ 值为 $1$ ，远离中心点时 $f_1$ 逐渐减小。

方差 ${\sigma }^2$ 决定了偏离中心点时函数值的下降速率。

现在我们选了 3 个标记点，由 3 个核函数决定预测结果。
假设我们已经训练得到参数： ${\theta }_0=-0.5，{\theta }_1=1，{\theta }_2=1，{\theta }_3=0$
下面这张图的红色圈圈就是决策边界。

图中 紫色 的点靠近 ${\mathbf{l}}^{(1)}$，于是 $f_1\approx 1$，$f_2$ 和 $f_3$ 接近 $0$。
因此 $h_{\mathbf{\theta }}(\mathbf{x})={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3=-0.5+1\times 1+1\times 0+0\times 0=0.5>0$，预测 $y=1$。

同理 绿色 的点靠近 ${\mathbf{l}}^{(2)}$，也预测 $y=1$。

浅蓝色 的点距离 3 个地标都远，因此预测 $y=0$。

通过定义 标记点 和 核函数，我们就能训练出复杂的非线性边界。（接近标记点的数据预测 $1$，远离标记点的预测 $0$）

以上就是关于核函数的部分概念，以及在支持向量机中的使用介绍。

剩下的问题是：如何选择标记点；是否还有其它的相似度方程。

---

标记点的选择

假设现在有 $m$ 个样本：$({\mathbf{x}}^{(1)}，y^{(1)})$，$({\mathbf{x}}^{(2)}，y^{(2)})$， $\cdots$，$({\mathbf{x}}^{(m)}，y^{(m)})$。

那就直接在每个样本上建立标记点：${\mathbf{l}}^{(1)}={\mathbf{x}}^{(1)}$，${\mathbf{l}}^{(2)}={\mathbf{x}}^{(2)}$， $\cdots$，${\mathbf{l}}^{(m)}={\mathbf{x}}^{(m)}$。一共 $m$ 个标记点。

对于输入样本 $\mathbf{x}$，我们算出它的特征向量 $\mathbf{f}$，即 $\mathbf{x}$ 与每一个标记点之间的相似度：
$$\begin{gathered} f_1=\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(1)}) \\ {f}_2=\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(2)}) \\ ⋮ \\ {f}_m=\text{similarity}(\mathbf{x}，{\mathbf{l}}^{(m)}) \end{gathered}$$

$$\mathbf{f}=\left[\begin{array}{c}{f}_1\\ f_2\\ ⋮\\ f_m\end{array}\right]$$

当 ${\mathbf{\theta }}^T\mathbf{f}\ge 1$ 时，预测 $y=1$。 反之预测 $y=0$。

参数 $\mathbf{\theta }$ 如何训练获得呢？修改之前的代价函数，把 ${\mathbf{\theta }}^T\mathbf{x}$ 换成 ${\mathbf{\theta }}^T\mathbf{f}$ 即可：
$$\underset{\theta }{\min }C\left[\sum _{i=1}^m{y}^{(i)}{\text{cost}}_1({\mathbf{\theta }}^T{\mathbf{f}}^{(i)})+(1-y^{(i)}){\text{cost}}_0({\mathbf{\theta }}^T{\mathbf{f}}^{(i)})\right]+\sum _{j=1}^m{\theta }_j^2$$

这个代价函数使用了新的特征 $\mathbf{f}$，也就是我们的核函数，或者说是相似度函数。

最小化它，就能得到参数 $\mathbf{\theta }$。

在实际操作过程不需要自己实现代价函数，也不需要手写优化算法，直接使用现有的软件包\工具即可。

---

使用高斯核函数时有两个参数 $C$ 和 $\sigma$。

$C$ 较大时，可能会导致过拟合，高方差；
$C$ 较小时，可能会导致低拟合，高偏差；

$\sigma$ 较大时，可能会导致低方差，高偏差；
$\sigma$ 较小时，可能会导致低偏差，高方差。

---

在高斯核函数之外我们还有其他一些选择，如：

• 多项式核函数（Polynomial Kernel）
• 字符串核函数（String kernel）
• 卡方核函数（ chi-square kernel）
• 直方图交集核函数（histogram intersection kernel）

等等