SVM算法原理及Python实现

最新推荐文章于 2025-03-18 23:12:12 发布

小白的进阶

最新推荐文章于 2025-03-18 23:12:12 发布

阅读量5w

点赞数 30

分类专栏：机器学习文章标签： python 算法机器学习

本文链接：https://blog.youkuaiyun.com/laobai1015/article/details/82763033

版权

本文详细介绍了支持向量机（SVM）的基本原理，包括最大间隔分隔数据、SVM算法的优化模型以及如何引入松弛变量解决非线性问题。通过核函数的概念，展示了SVM如何处理非线性可分数据，并列举了常见的核函数类型。此外，还简述了Smo算法用于求解SVM问题的基本思想和约束条件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Svm（support Vector Mac）又称为支持向量机，是一种二分类的模型。当然如果进行修改之后也是可以用于多类别问题的分类。支持向量机可以分为线性核非线性两大类。其主要思想为找到空间中的一个更够将所有数据样本划开的超平面，并且使得本本集中所有数据到这个超平面的距离最短。

一、基于最大间隔分隔数据

1.1支持向量与超平面

在了解svm算法之前，我们首先需要了解一下线性分类器这个概念。比如给定一系列的数据样本，每个样本都有对应的一个标签。为了使得描述更加直观，我们采用二维平面进行解释，高维空间原理也是一样。举个简单子：如下图所示是一个二维平面，平面上有两类不同的数据，分别用圆圈和方块表示。我们可以很简单地找到一条直线使得两类数据正好能够完全分开。但是能将据点完全划开直线不止一条，那么在如此众多的直线中我们应该选择哪一条呢？从直观感觉上看图中的几条直线，是不是要更好一些呢？是的我们就是希望寻找到这样的直线，使得距离这条直线最近的点到这条直线的距离最短。这读起来有些拗口，我们从图三中直观来解释这一句话就是要求的两条外面的线之间的间隔最大。这是可以理解的，因为假如数据样本是随机出现的，那么这样分割之后数据点落入到其类别一侧的概率越高那么最终预测的准确率也会越高。在高维空间中这样的直线称之为超平面，因为当维数大于三的时候我们已经无法想象出这个平面的具体样子。那些距离这个超平面最近的点就是所谓支持向量，实际上如果确定了支持向量也就确定了这个超平面，找到这些支持向量之后其他样本就不会起作用了。

图 1 图2

1.2寻找最大间隔

1.2.1点到超平面的距离公式

既然这样的直线是存在的，那么我们怎样寻找出这样的直线呢？与二维空间类似，超平面的方程也可以写成一下形式：

（1.1）

有了超平面的表达式之后之后，我们就可以计算样本点到平面的距离了。假设为样本的中的一个点，其中表示为第个特征变量。那么该点到超平面的距离就可以用如下公式进行计算：

（1.2）

其中||W||为超平面的范数，常数b类似于直线方程中的截距。

上面的公式可以利用解析几何或高中平面几何知识进行推导，这里不做进一步解释。

1.2.2最大间隔的优化模型

现在我们已经知道了如何去求数据点到超平面的距离，在超平面确定的情况下，我们就能够找出所有支持向量，然后计算出间隔margin。每一个超平面都对应着一个margin，我们的目标就是找出所有margin中最大的那个值对应的超平面。因此用数学语言描述就是确定w、b使得margin最大。这是一个优化问题其目标函数可以写成：

（1.3）

其中表示数据点的标签，且其为-1或1。距离用计算，这是就能体会出-1和1的好处了。如果数据点在平面的正方向(即+1类)那么是一个正数，而当数据点在平面的负方向时(即-1类)，依然是一个正数，这样就能够保证始终大于零了。注意到当w和b等比例放大时，d的结果是不会改变的。因此我们可以令所有支持向量的u为1，而其他点的u大1这是可以办通过调节w和b求到的。因此上面的问题可以简化为：（1.4）

为了后面计算的方便，我们将目标函数等价替换为：

（1.5）

这是一个有约束条件的优化问题，通常我们可以用拉格朗日乘子法来求解。拉格朗日乘子法的介绍可以参考这篇博客。应用拉格朗日乘子法如下：

令（1.6）

求L关于求偏导数得：（1.7）

将(1.7)代入到(1.6)中化简得：

（1.8）

原问题的对偶问题为：

（1.9）

该对偶问题的KKT条件为

（1.10）

到此，似乎问题就能够完美地解决了。但是这里有个假设：数据必须是百分之百可分的。但是实际中的数据几乎都不那么“干净”，或多或少都会存在一些噪点。为此下面我们将引入了松弛变量来解决这种问题。

1.2.3松弛变量

由上一节的分析我们知道实际中很多样本数据都不能够用一个超平面把数据完全分开。如果数据集中存在噪点的话，那么在求超平的时候就会出现很大问题。从图三中课看出其中一个蓝点偏差太大，如果把它作为支持向量的话所求出来的margin就会比不算入它时要小得多。更糟糕的情况是如果这个蓝点落在了红点之间那么就找不出超平面了。