数据挖掘学习笔记5-支持向量机SVM

最新推荐文章于 2025-02-18 23:37:34 发布

irony_202

最新推荐文章于 2025-02-18 23:37:34 发布

阅读量194

点赞数

文章标签：数据挖掘支持向量机人工智能

本文链接：https://blog.youkuaiyun.com/irony_202/article/details/122824529

版权

支持向量机（SVM）是一种有效的分类算法，它通过最大化类别间间隔来构建分类器。对于线性可分和不可分样本，SVM分别采用硬间隔和软间隔策略，并利用核技巧将问题映射到高维空间，使得原本非线性的数据在高维中变得可分。这种方法巧妙地平衡了模型复杂度和泛化能力，降低了过拟合风险。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

支持向量机主要原理是在分类器可以将两类样本分开的基础上，通过最大化两类样本之间的间隔来选取分类器。距离算法如下
在这里插入图片描述
对于线性有重叠的样本，可采用软间隔，即放宽y（wx+b）≥1的条件，增加一个宽限值，使一些重叠样本也能被分类器分开。

对于线性不可分问题，SVM会先将样本输入映射到一个高维特征空间，一般来说维数越高能找到一个线性决策面的几率越大，而SVM精妙地选取了一个高维特征空间，使得高维的內积运算恰好等于低纬的內积运算的平方（或其他），这样既提升了样本的维度，又没有使运算变得特别复杂，这一类方法叫做核方法（K（Xi，Xj））。
在这里插入图片描述
VC Dimension：
模型的可分点（复杂程度）越多，测试误差比训练误差大的边界会越大（风险越大），因此尽量选用简单的模型
推荐阅读文献及更多资源：