支持向量机(SVM)算法(四)

本文深入解析了SMO算法在求解支持向量机(SVM)对偶问题中的应用。通过固定除两个变量外的所有参数,SMO算法能够有效地求解复杂的优化问题,最终获得SVM模型的超平面方程。

(书接上文)

对偶问题的求解-SMO算法

前文已经推导出了原问题的对偶问题,那么如何求解它呢?比较好的方法就是利用SMO算法。

SMO 的基本思路是先固定向之外的所有参数,然后求\small \alpha_i上的极值。由于存在约束条件\small \bg_red \bg_black \small \sum_{i=1}^m\alpha_iy_i=0,若固定\small \alpha_i以外的其它变量,则\small \alpha_i可由其它变量导出。于是,SMO每次选择两个变量\small \alpha_i\small \alpha_j,并固定其它参数。这样,在参数初始化后,SMO不断执行以下两个步骤直到收敛:

1)选取一对需要更新的变量\small \alpha_i\small \alpha_j

2)固定\small \alpha_i\small \alpha_j意外的参数,求解(公式10)获得更新后的\small \alpha_i\small \alpha_j

解出\small \alpha后,求出\small w和b即可得到模型,如下:

f(x) = w^Tx+b=\sum_{i=i}^{m}\alpha_iy_ix_i^Tx+b

至此,我们已经完成了超平面方程的求解,这是svm模型的原理所在。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值