SVM（支持向量机）的思想及线性SVM

最新推荐文章于 2025-05-22 16:40:19 发布

人间清欢

最新推荐文章于 2025-05-22 16:40:19 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： SVM 分类

本文链接：https://blog.youkuaiyun.com/weixin_43614795/article/details/83825730

本文介绍了SVM（支持向量机）的基本思想，强调最大间隔原则在选择最佳线性分类器中的重要性。线性SVM通过最大化分类边界的margin来降低对噪声的敏感性。文章详细阐述了线性SVM的问题描述，margin的定义，以及如何通过拉格朗日对偶求解来确定最佳超平面。支持向量在SVM中起到关键作用，它们是位于边界上的样本点，决定了分类器的最终形态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、SVM的基本思想

假设有两个线性可分的的类别的一些样点，我们要为这些样本点设计一个线性分类器。可以设计出很多个线性的分类器，就像下面的每一条区分出红蓝的直线都是一个线性分类器，图中的每一个线性分类器都可以用这样的决策函数来表示：
在这里插入图片描述
sign表示将

的值映射成-1和1。当为-1的时候属于一类，当为1的时候属于另一类。既然存在这么多可能的线性分类器，这时候我们就想要知道，那到底哪一条才是最佳的线性分类器？

根据SVM的思想，具有最大间隔(maximum the margin)的线性分类器是最佳的。比如说下面这张图，用decision 1也可以做分类，用decision 2也可以做分类，根据maximum the margin的思想，我们认为decision 2要优于decision 1。
在这里插入图片描述
为什么要maximum the margin呢？因为当margin最大的时候，对于样本点的噪声可以有最好的容忍程度。另外，还暗示着一个这样思想：那些很重要的样本点（位于边缘的那条线上，用圆圈圈起来的点）起到很重要的作用，剩下的样本点则无足轻重。