机器学习-SVM硬间隔与软间隔：重要参数C_svm软间隔硬间隔-优快云博客

本文链接：https://blog.youkuaiyun.com/gracejpw/article/details/103024821

本文探讨了SVM在处理软间隔数据时的推广，解释了硬间隔与软间隔的区别，并重点介绍了重要参数C的含义。C参数用于权衡训练样本的正确分类与决策函数的边际最大化，影响模型复杂度和训练准确性。较高的C值倾向于提高训练精度，而较低的C值则追求更大边际。通过调整C，可以找到适合数据集的最优模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SVM在软间隔数据上的推广

到这里，我们已经了解了线性SVC的基本原理，以及SVM如何被推广到非线性情况下，还了解了核函数的选择和应用。但实际上，我们依然没有完全了解SVM用于二分类的全貌。我们之前在理论推导中使用的数据都有一个特点，那就是他们或是完全线性可分，或者是非线性的数据。在我们对比核函数时，实际上用到了一种不同的数据，那就是不完全线性可分的数据集。比如说如下数据集：
在这里插入图片描述
这个数据集和我们最开始介绍SVM如何工作的时候的数据集一模一样，除了多了P和Q两个点。我们注意到，虽然决策边界B₁的间隔已经非常宽了，然而点P和Q依然被分错了类别，相反，边际比较小的B₂却正确地分出了点P和Q的类别。这里并不是说B₂此时此刻就是一条更好的边界了，与之前的论述一致，如果我们引入更多的训练数据，或引入测试数据，更加宽敞的边界可以帮助它有更好的表现。但是，和之前不一样，现在让边际最大的决策边界的训练误差也不可能为0了。此时，我们就需要引入“软间隔”的概念：

硬间隔与软间隔

当两组数据是完全线性可分，我们可以找出一个决策边界使得训练集上的分类误差为0，这两种数据就被称为是存在”硬间隔“的。当两组数据几乎是完全线性可分的，但决策边界在训练集上存在较小的训练误差，这两种数据就被称为是存在”软间隔“。
我们可以通过调整我们对决策边界的定义，将硬间隔时得出的数学结论推广到软间隔的情况上，让决策边界能够忍受一小部分训练误差。这个时候，我们的决策边界就不是单纯地寻求最大边际了，因为对于软间隔地数据来说，边际越大被分错的样本也就会越多，因此我们需要找出一个”最大边际“与”被分错的样本数量“之间的平衡。
在这里插入图片描述
看上图，原始的决策边界 $ω⋅x+b=0\boldsymbol{ω\cdot x}+b=0$ ，原本的平行于决策边界的两个虚线超平面 $ω⋅x+b=1\boldsymbol{ω\cdot x}+b=1$ 和 $ω⋅x+b=−1\boldsymbol{ω\cdot x}+b=-1$ 都依然有效。我们的原始判别函数为：
$ω⋅xi+b⩾1ifyi=1ω⋅xi+b⩽−1ifyi=−1\boldsymbol{ω\cdot x_i}+b\geqslant 1 \qquad if \quad y_i=1 \\ \boldsymbol{ω\cdot x_i}+b\leqslant -1 \qquad if \quad y_i=-1$