SVM不加入松弛变量使用高斯核对所有样本都可以线性可分吗???

本文深入探讨了支持向量机(SVM)在处理线性可分与不可分数据集时的理论与应用,详细解释了如何使用高斯核函数解决非线性问题,并讨论了过拟合风险与优化目标函数的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

是的。
李航老师书上证明了一个结论,线性可分的训练数据集的最大间隔分离超平面是存在而且唯一的,细节可以查小蓝书。
对于线性不可分的训练数据集,用高斯核可以让训练数据完美可分,但是这样很容易overfitting,以下是详细推导,参考https://blog.youkuaiyun.com/taoqick/article/details/102644779,最终SVM训练后的表达式是:
f(x)=wTx+b=∑i=1mαiyixiTx+bf(x)=w^Tx+b=\sum_{i=1}^{m}\alpha_{i}y_{i}x_i^Tx+bf(x)=wTx+b=i=1mαiyixiTx+b

所谓的核函数,就是把xiTxx_i^TxxiTx变成K(xi,x)K(x_i,x)K(xi,x)把原空间的数据映射到一个非线性空间,此时得到的函数表达式是:
f(x)=wTx+b=∑i=1mαiyiK(xiT,x)+bf(x)=w^Tx+b=\sum_{i=1}^{m}\alpha_{i}y_{i}K(x_i^T,x)+bf(x)=wTx+b=i=1mαiyiK(xiT,x)+b

其实我们就是希望找到解,使得:
min∣∣w∣∣2,s.t,f(xi)yi>=1(公式1)min{\frac{||w||}{2}}, s.t, f(x_i)y_i>=1 (公式1)min2w,s.t,f(xi)yi>=1(1)
这个约束条件并不难满足,固定b=0:
f(xi)yi=yi∑j=1m(αjyjK(xj,xi))=yjαjyjK(xj,xj)+yi∑j=1,i!=jm(αjyjK(xj,xi))=αj+yi∑j=1,i!=jm(αjyjK(xj,xi))f(x_i)y_i=y_i\sum_{j=1}^m(\alpha_jy_jK(x_j,x_i))\\ =y_j\alpha_jy_jK(x_j,x_j)+y_i\sum_{j=1,i!=j}^m(\alpha_jy_jK(x_j,x_i))\\=\alpha_j+y_i\sum_{j=1,i!=j}^m(\alpha_jy_jK(x_j,x_i))f(xi)yi=yij=1m(αjyjK(xj,xi))=yjαjyjK(xj,xj)+yij=1,i!=jm(αjyjK(xj,xi))=αj+yij=1,i!=jm(αjyjK(xj,xi))

因此只要让αj\alpha_jαj足够大,高斯核K(xj,xi)K(x_j,x_i)K(xj,xi)足够小,大于1是没有任何问题的,而最优解也一定满足以上的条件。

但是如果加入了松弛变量以后,目标函数变成了
C∑i=1mξ+12∣∣w∣∣2C\sum_{i=1}^m\xi+\frac{1}{2}||w||^2Ci=1mξ+21w2

极端情况下,整个目标函数都等于0,但是训练集的数据并不一定能都分对

参考李航老师的书、西瓜书、葫芦书

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值