机器学习5---支持向量机

本文介绍了支持向量机(SVM)的基础知识,包括线性可分SVM的概念,如何寻找最优超平面以最大化间隔,以及如何通过拉格朗日乘数法和对偶问题求解SVM模型。此外,还讨论了在原始空间无法划分时如何利用核函数将数据映射到高维空间,以解决线性不可分问题,常见的核函数类型也进行了说明。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 线性可分的支持向量机

1.1 支持向量机(SVM)基本型

对于给定的在样本空间中线性可分的训练集,我们有多重办法对其进行划分,以二分类问题为例,如图:

红线和黑线(超平面)都能将两类样本很好的划分开,但是当新样本进入时,黑线比红线更加有可能正确划分新的样本,换句话说:越位于两类样本“中心”的划分超平面越能够容忍样本的局部扰动,其的泛化能力越好。

基于以上思想,我们准备求解最优超平面。

首先,记超平面的线性方程为w^{T}x+b=0,其中w为法向量。根据点到直线的距离公式,得到样本空间任一点x超平面的距离可以写成r=\frac{|w^{T}x+b|}{||w||}

接着,为了方便计算,我们将两类样本使用正类和负类表示,即若y_{i}=+1,则w^{T}x_{i}+b\geqslant +1;若y_{i}=-1,则w^{T}x_{i}+b\leqslant -1,能够使得等号成立的样本向量称之为“支持向量”,因为它们是离超平面最近的训练样本,它们确定了两个类别之间的“间隔”。

然后,找到最优超平面也就转换成寻找“最大间隔”问题,即

\underset{w,b}{max} \frac{2}{||w||}   (

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值