机器学习技法系列一

本文深入探讨了线性支持向量机(SVM)的基本原理,包括最大间隔、支持向量条件、边界最大化等概念,并详细解释了如何通过数学转换将原始问题转化为易于求解的形式。此外还介绍了拉格朗日对偶法的应用。

线性SVM

最大间隔:所有训练样例距离分界超平面的距离取最小值,最大化最小值即可获得最胖分界面

这里写图片描述

支持向量条件

  • max margin :边界最大化
  • yn(wx+b)>0 同号同侧,表明分类正确(硬间隔)
  • margin边界取全部样本距离最小值

这里写图片描述

转化最优,另min (y(wx+b))= 1,,边界最大化转化为max(1/w),同时可转化为min(w*w/2)

这里写图片描述

  • 限制转为无限制

存在1-y(wx+b)>0,max最大化直接爆炸为无限大,从而保证全部1-y(wx+b)小于0,当1-y(wx+b)全部小于0时,max最大化使得全部@取值为0,问题退化为原先最大化w*w/2

这里写图片描述

拉格朗日对偶

这里写图片描述

svm问题转化:极限点偏导数为0

这里写图片描述
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值