机器学习-SVM硬间隔与软间隔:重要参数C

本文探讨了SVM在处理软间隔数据时的推广,解释了硬间隔与软间隔的区别,并重点介绍了重要参数C的含义。C参数用于权衡训练样本的正确分类与决策函数的边际最大化,影响模型复杂度和训练准确性。较高的C值倾向于提高训练精度,而较低的C值则追求更大边际。通过调整C,可以找到适合数据集的最优模型。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

SVM在软间隔数据上的推广

到这里,我们已经了解了线性SVC的基本原理,以及SVM如何被推广到非线性情况下,还了解了核函数的选择和应用。但实际上,我们依然没有完全了解SVM用于二分类的全貌。我们之前在理论推导中使用的数据都有一个特点,那就是他们或是完全线性可分,或者是非线性的数据。在我们对比核函数时,实际上用到了一种不同的数据,那就是不完全线性可分的数据集。比如说如下数据集:
在这里插入图片描述
这个数据集和我们最开始介绍SVM如何工作的时候的数据集一模一样,除了多了P和Q两个点。我们注意到,虽然决策边界B1的间隔已经非常宽了,然而点P和Q依然被分错了类别,相反,边际比较小的B2却正确地分出了点P和Q的类别。这里并不是说B2此时此刻就是一条更好的边界了,与之前的论述一致,如果我们引入更多的训练数据,或引入测试数据, 更加宽敞的边界可以帮助它有更好的表现。但是,和之前不一样,现在让边际最大的决策边界的训练误差也不可能为0了。此时,我们就需要引入“软间隔”的概念:

硬间隔与软间隔

当两组数据是完全线性可分,我们可以找出一个决策边界使得训练集上的分类误差为0,这两种数据就被称为是存在”硬间隔“的。当两组数据几乎是完全线性可分的,但决策边界在训练集上存在较小的训练误差,这两种数据就被称为是存在”软间隔“。
我们可以通过调整我们对决策边界的定义,将硬间隔时得出的数学结论推广到软间隔的情况上,让决策边界能够忍受一小部分训练误差。这个时候,我们的决策边界就不是单纯地寻求最大边际了,因为对于软间隔地数据来说,边际越大被分错的样本也就会越多,因此我们需要找出一个”最大边际“与”被分错的样本数量“之间的平衡。
在这里插入图片描述
看上图,原始的决策边界ω⋅x+b=0\boldsymbol{ω\cdot x}+b=0ωx+b=0,原本的平行于决策边界的两个虚线超平面ω⋅x+b=1\boldsymbol{ω\cdot x}+b=1ωx+b=1ω⋅x+b=−1\boldsymbol{ω\cdot x}+b=-1ωx+b=1都依然有效。我们的原始判别函数为:
ω⋅xi+b⩾1ifyi=1ω⋅xi+b⩽−1ifyi=−1\boldsymbol{ω\cdot x_i}+b\geqslant 1 \qquad if \quad y_i=1 \\ \boldsymbol{ω\cdot x_i}+b\leqslant -1 \qquad if \quad y_i=-1ωxi+b1ifyi=1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值