SVM拓展和SVR支持向量回归

本文介绍了SVM在面对非线性可分情况时引入的软间隔概念,以及如何通过调整优化目标来处理错误分类样本。接着详细讲述了SVM的对偶形式和KKT条件,最后探讨了支持向量回归(SVR),包括L1和L2损失函数在回归中的应用,并解释了SVR中支持向量的选择原则。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

软间隔

在建立SVM模型时,假定正负样本是线性可分的。但是,实际有些时候,样本不是完全线性可分的,会出现交错的情况,例如下图。

这时,如果采用以下模型

minw,b{ 12w22},subject toyi(wTxi+b)1minw,b{ 12‖w‖22},subject toyi(wTxi+b)≥1

可能就没有可行解。针对这种情况,允许某些样本不满足约束yi(wTxi+b)1yi(wTxi+b)≥1 , 但是在最大化间隔的同时,不满足约束的样本应尽可能少,优化目标可以写为:

minw,b12w2+Cmi=1l0/1(yi(wTxi+b)1)(4-1)(4-1)minw,b12‖w‖2+C∑i=1ml0/1(yi(wTxi+b)−1)

其中l0/1l0/1 是0/1损失函数,

L0/1(z)={ 10if z<0otherwiseL0/1(z)={ 1if z<00otherwise

从(4-1)可以看到,当C为无穷大时,所有样本必须满足约束 yi(wTxi+b)1yi(wTxi+b)≥1 才可行。当C取有限值时,允许一些样本不满足约束。

l0/1l0/1 非凸非连续,数学性质不好,因此常用其他函数替代,称为替代损失函数(surrogate loss function)。一些常用的替代损失函数有:

hinge损失:lhinge(z)=max(0,1z)lhinge(z)=max(0,1−z)

指数损失exponential loss:lexp(z)=exp(z)lexp(z)=exp(−z)

对率损失 logistic loss: llog(z)=log(1+exp(z))llog(z)=log(1+exp(−z))

如果采用hinge损失,则(4-1)变为:

minw,b12w2+Cmi=1max(0,1yi(wTxi+b))(4-2)(4-2)minw,b12‖w‖2+C∑i=1mmax(0,1−yi(wTxi+b))

引入松弛变量ξiξi (也叫容忍度),C为参数,需要根据经验调整。可以得到

minw,bsubject to{ 12w22+Ci=1Nξi},yi(wTxi+b)1ξi;i=1,...,Nξi0(4)(5)(6)(4-3)(4-3)(4)minw,b{ 12‖w‖22+C∑i=1Nξi},(5)subject toyi(wTxi+b)≥1−ξi;i=1,...,N(6)ξi≥0

这个是一个QP问题。

可以看到,当ξi=0ξi=0 时, yi(wTxi+b)1yi(wTxi+b)≥1 ,样本点被正确分类,且距离大于支撑向量。

1ξi>01≥ξi>0 时,yi(wTxi+b)0yi(wTxi+b)≥0 即,样本点被正确分类,但是距离有可能小于支撑向量yi(w

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值