机器学习-支持向量机

最新推荐文章于 2025-05-22 16:40:19 发布

原创

最新推荐文章于 2025-05-22 16:40:19 发布 · 273 阅读

1 ·

CC 4.0 BY-SA版权

支持向量机（SVM）是一种机器学习算法，其目标是找到最佳分类边界，使两类样本间的间隔最大化。通过将低维数据映射到高维空间，SVM可以找到一个超平面（hyperplane）来有效地分离复杂的数据分布。在这个过程中，靠近超平面的样本点被称为支持向量，它们对确定最优分类边界至关重要。当面临非线性可分情况时，SVM利用核技巧（kernelling）将数据转换为适合分类的结构。

SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙。这个间隙就是球到棍的距离。

这里我们看到两种不同颜色的小球
我们找到一个棍子放在其中，把他们分割开来，但是仅仅是这么简单嘛，不不，我们还要考虑怎么放这根棍子，能够分开这两种小球的棍子在中间有无数种方法哪种最好呢？

在这里插入图片描述
保证决策面方向不变且不会出现错分样本的情况下移动决策面，会在原来的决策面两侧找到两个极限位置（越过该位置就会产生错分现象），如虚线所示。虚线的位置由决策面的方向和距离原决策面最近的几个样本的位置决定。而这两条平行虚线正中间的分界线就是在保持当前决策面方向不变的前提下的最优决策面。两条虚线之间的垂直距离就是这个最优决策面对应的分类间隔。显然每一个可能把数据集正确分开的方向都有一个最优决策面（有些方向无论如何移动决策面的位置也不可能将两类样本完全分开），而不同方向的最优决策面的分类间隔通常是不同的，那个具有“最大间隔”的决策面就是SVM要寻找的最优解。而这个真正的最优解对应的两侧虚线所穿过的样本点，就是SVM中的支持样本点，称为"支持向量"。