SVM 的推导

SVM（Support Vector Machine，支持向量机）是一个线性分类器，是最经典的分类算法，其核心目标就是找到最大间隔超平面。本文记录SVM的推导过程。

概述

SVM就是一个分类器，只是相对于传统的线性分类器，它添加了一个支持向量的概念。

• 考虑一个分类任务

从图片上解释，对于一组数据，SVM在使用直线的同时要求数据点距离这条直线的最小距离最大，也就是说分类器和数据之间要有足够大的“间隔”。这样做的好处是很明显的，越大的“间隔”代表了更大的转圜空间，在得到新的数据之后更容易将其正确分类。

而SVM的工作就是求解这个最大间隔，也就是最优化问题。对于线性可分的数据，可以直接套用线性规划的知识进行推导，但如果数据线性不可分，就需要核函数进行数据升维，进行超平面分类。

目标函数

SVM是一个线性分类器，SVM的目标就是找到最大间隔超平面。

• 定义任意的超平面函数为：

$${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}=0$$

• 二维空间点$(x,y)$到直线$Ax+By+C=0$的距离为：

$$\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$$

• 扩展到$k$维空间后，点$X=(x_1,x_2,\dots ,x_k)$到超平面$w^{T}x+b=0$距离为：

$$\frac{\left|{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}\right|}{\Vert \mathbf{w}\Vert }$$

• 其中：

$$\Vert \mathbf{w}\Vert =\sqrt{{\mathbf{w}}_1^2+\dots {\mathbf{w}}_{\mathbf{n}}^2}$$

• 我们希望这个超平面可以区分不同两类数据特征，这个分类决策函数就是：

$$f(x)=\mathrm{sign}\left({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\mathbf{b}\right)$$

• 我们的数据为$ ({{\bf{x}}_i},{y_i}), i \in { 1,2, \ldots ,n},y_i \in {1,-1} $ ，定义点$({{\bf{x}}_i},{y_i}) $ 到超平面的函数距离${\hat{\gamma }}_i$：

$${\hat{\gamma }}_i=y_i\left(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)$$

• 而我们的目标是找到可以最大化数据到点几何距离的超平面，将几何距离用${\gamma }_i$表示，为：

$${\gamma }_i=|\frac{\mathbf{w}}{\Vert \mathbf{w}\Vert }\cdot {\mathbf{x}}_{\mathbf{i}}+\frac{\mathbf{b}}{\Vert \mathbf{w}\Vert }|=\frac{|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}|}{\Vert \mathbf{w}\Vert }=\frac{{\mathbf{y}}_{\mathbf{i}}\left(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)}{\Vert \mathbf{w}\Vert }=\frac{{\hat{\gamma }}_{\mathbf{i}}}{\Vert \mathbf{w}\Vert }$$

• 因此优化函数为：

KaTeX parse error: Unknown column alignment: * at position 16: \begin{array}{*̲{20}{l}} {\math…

• 根据已有结论可以将优化函数转化为：

{% raw %}
KaTeX parse error: Unknown column alignment: * at position 16: \begin{array}{*̲{20}{l}} {\math…
{% endraw %}

• 事实上函数间隔$\hat{\gamma }$并不影响最优化问题的解，假设将$\mathbf{w}$和$b$成倍的改变为$a\mathbf{w}，\mathbf{a}\mathbf{b}$，那么函数间隔也会相应变成$a\hat{\gamma }$，因此为简便，我们取 $\hat{\gamma }=1$，因此优化函数为最大化$1/||\mathbf{w}||$，这等价于最小化$||\mathbf{w}||$，考虑到求导方便，我们最小化$1/2||\mathbf{w}|{|}^2$
• 优化函数最终为：

{% raw %}
KaTeX parse error: Unknown column alignment: * at position 16: \begin{array}{*̲{20}{l}} {\math…
{% endraw %}

拉格朗日对偶求极值

• 写成拉格朗日优化的格式：

{% raw %}
KaTeX parse error: Unknown column alignment: * at position 16: \begin{array}{*̲{20}{l}} {\math…
{% endraw %}

• 拉格朗日方程：

{% raw %}
$$L(\mathbf{w},b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^n{\alpha }_i(1-y_i\left(\mathbf{w}\cdot {\mathbf{x}}_i+b\right))$$
{% endraw %}

• 原始问题为凸优化问题，我们按照KKT条件求解该问题的对偶问题，即可根据强对偶条件获得原始问题的解
• 对偶问题为：

{% raw %}
$$\underset{\alpha }{\max }D(\alpha )=\underset{\alpha }{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\alpha )$$
{% endraw %}

• 先求最小化极值问题{% raw %} $\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\alpha )${% endraw %}：

{% raw %}
KaTeX parse error: Unknown column alignment: * at position 25: …{\begin{array}{*̲{20}{c}} {\frac…
{% endraw %}

• 解得：

{% raw %}
KaTeX parse error: Unknown column alignment: * at position 25: …{\begin{array}{*̲{20}{c}} {{\bf{…
{% endraw %}

• 带入$L(\mathbf{w},b,\alpha )$得：

{% raw %}
$$\begin{array}{rl}L(\mathbf{w},\mathbf{b},\alpha )& =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}}\left[1-{\mathbf{y}}_{\mathbf{i}}\left({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+\mathbf{b}\right)\right]\\ & =\frac{1}{2}{\mathbf{w}}^{\mathbf{T}}\mathbf{w}-{\mathbf{w}}^{\mathbf{T}}\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}}{\mathbf{y}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{i}}-\mathbf{b}\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}}{\mathbf{y}}_{\mathbf{i}}+\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}}\\ & =\frac{1}{2}{\mathbf{w}}^{\mathbf{T}}\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}}{\mathbf{y}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{i}}-{\mathbf{w}}^{{\mathbf{T}}^{\prime }}\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}}{\mathbf{x}}_{\mathbf{i}}{\mathbf{y}}_{\mathbf{i}}-\mathbf{b}\ast 0+\sum _{\mathbf{i}=1}^{\mathbf{n}}{\alpha }_{\mathbf{i}}\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}{\left(\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\right)}^T\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$
{% endraw %}

• 此时我们需要解决的优化问题是：

{% raw %}
KaTeX parse error: Unknown column alignment: * at position 16: \begin{array}{*̲{20}{c}} {\math…
{% endraw %}

• 可以看到通过拉格朗日对偶，我们将原始拉格朗日方程$k+1+n$个未知数、$n$个复杂不等式约束条件的优化问题转换为了$n$个未知数，1个等式约束的问题，当然满足KKT条件是前提

• 对于这个问题，我们有更高效的优化算法，即序列最小优化（SMO）算法。我们通过这个优化算法能得到$\alpha$，再根据$\alpha$，我们就可以求解出$\mathbf{w}$和$b$，进而求得我们最初的目的：找到超平面，即"决策平面"。

参考资料

• https://www.jianshu.com/p/0f8f9d52abcf

• https://www.pianshen.com/article/15821257925/

• https://blog.youkuaiyun.com/qq_40778406/article/details/79879434