SVM超简洁讲解拒绝长篇大论

一、SVM基本形式

1、线性可分

在二维空间上，两类点被一条直线完全分开叫做线性可分。

2、最大间隔超平面

从二维扩展到多维空间中时，将$D_0$ 和$D_1$完全正确地划分开的$wx+b=0$就成了一个超平面。

为了使这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面。

• 两类样本分别分割在该超平面的两侧；
• 两侧距离超平面最近的样本点到超平面的距离被最大化了。

3、支持向量

离超平面的距离刚好等于最大间隔的样本点

4、最优化问题

​ $min\frac{1}{2}||w|{|}^2$

​ s.t. $y_i(w{x}_i+b)>=1$

5、对偶问题

为了求解线性可分支持向量机的最优化问题 ， 将它作为原始最优化 问题，应用拉格朗日对偶性，通过求解对偶问题 (dual problem) 得到 原始问题 (primal problem) 的最优解，这就是线性可分支持向量机的对偶算法 (dual algorithm) 。这样做的优点， 一是对偶问题往往更容易求解: 二是自然引入核函数，进

而推广到非线性分类问题 。

步骤1:

引入拉格朗日乘子$a_i>=0i=1,2,3,..N$

构造拉格朗日函数：

$mi{n}_{w,b}ma{x}_{a}L(w,b,a)=\frac{1}{2}||w|{|}^2+{\sum }_{i=1}^N{a}_i(1-y_i(w{x}_i+b))$

s.t. $a_i>=0$

步骤2:

利用强对偶性转化：

$ma{x}_{a}mi{n}_{w,b}L(w,b,a)$

对参数w和b求偏导数：

得：

带入原函数得：

步骤3:

利用SMO(Sequential Minimal Optimization) 算法求解

SMO(Sequential Minimal Optimization)，序列最小优化算法，其核心思想非常简单：每次只优化一个参数，其他参数先固定住，仅求当前这个优化参数的极值。我们来看一下 SMO 算法在 SVM 中的应用。

由于SMO算法每次只能优化一个参数，而我们的约束条件为 ${\sum }_{i=1}^N{a}_i{y}_i=0$没法一次只变动一个参数

于是我们一次选取两个参数$a_i,a_j$ 使得约束变成 $a_i{y}_i+a_j{y}_j=c,a_i>=0,a_j>=0$

$a_j=\frac{c-a_i{y}_i}{y_i}$代入新的约束条件，这样就相当于把目标问题转化成了仅有一个约束条件的最优化问题，仅有的约束是 $a_i>=0$

对于仅有一个约束条件的最优化问题，我们完全可以在$a_i$上对目标函数求偏导 ，令导数等于0，解得$a_{newi}$,然后再求出$a_{newj}$

重复上述步骤直至收敛

当我们求得$a$时根据$w={\sum }_{i=1}^N{a}_i{x}_i{y}_i$求出$w$,最后在找一个支持向量带入求得b

$w,b$求出后我们可以构造最大平面$wx+b=0$

二、线性不可分软间隔最大化

针对某些线性不可分的样本点，不能满足$y_i(w{x}_i+b)>=1$的约束条件于是可以对每一个样本点引入松弛变量${\epsilon }_i$>=0,是的函数加上这个松弛变量大于等于1。这样约束条件变为：$y_i(w{x}_i+b)>=1-{\epsilon }_i$

线性不可分的线性支持向量机的学习问题变成如下凸二次规划 (convex quadratic programming) 问题(原始问题) :

​ $min\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\epsilon }_i$

​ s.t. $y_i(w{x}_i+b)>=1-{\epsilon }_i,i=1,2,3,4..N$

​ ${\epsilon }_i>=0,i=1,2,3..N$

求解和上述雷同不再描述

三、核函数

硬间隔和软间隔都是在说样本的完全线性可分或者大部分样本点的线性可分。

但我们可能会碰到的一种情况是样本点不是线性可分的，比如：

这种情况的解决方法就是：将二维线性不可分样本映射到高维空间中，让样本点在高维空间线性可分，比如：

核函数的作用

常见核函数

四、优缺点

优点

• 有严格的数学理论支持，可解释性强，不依靠统计方法，从而简化了通常的分类和回归问题；
• 能找出对任务至关重要的关键样本（即：支持向量）；
• 采用核技巧之后，可以处理非线性分类/回归任务；
• 最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。

缺点

• 训练时间长。当采用 SMO 算法时，由于每次都需要挑选一对参数，因此时间复杂度为 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wMCHCOXT-1620038837487)(https://www.zhihu.com/equation?tex=O(N^2)]) ，其中 N 为训练样本的数量；
• 当采用核技巧时，如果需要存储核矩阵，则空间复杂度为 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FaO38uZI-1620038837489)(https://www.zhihu.com/equation?tex=O(N^2)]) ；
• 模型预测时，预测时间与支持向量的个数成正比。当支持向量的数量较大时，预测计算复杂度较高。

因此支持向量机目前只适合小批量样本的任务，无法适应百万甚至上亿样本的任务。