SMO（Sequential minimal optimization）算法的详细实现过程

最新推荐文章于 2023-12-24 10:08:46 发布

丿一叶秋丶

最新推荐文章于 2023-12-24 10:08:46 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： SMO SVM

本文链接：https://blog.youkuaiyun.com/zhuqiang9607/article/details/83865013

本文深入探讨了SMO（Sequential Minimal Optimization）算法在SVM（支持向量机）中的应用，详细阐述了SMO算法的三个主要步骤，包括变量选择、优化求解和更新过程。通过实例解析了如何从最大化对偶问题的角度优化α向量，并确保满足KKT条件和约束条件，最终确定SVM的超平面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SMO算法主要是为优化SVM（支持向量机）的求解而产生的，SVM的公式基本上都可以推到如下这步：

$maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxiTxjmax_{\alpha}\sum_{i=1}^{m}\alpha_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}^{T}x_{j}$

$\sum_{i}^{m}\alpha_{i}y_{i}=0$

$0≤αi≤C，i=1,2,3,...,m0≤\alpha_{i}≤C，i = 1, 2, 3,...,m$

其中，C是SVM中惩罚参数（或正则化常数），可令：

$φ(α)=∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxiTxj\varphi(\alpha)=\sum_{i=1}^{m}\alpha_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}^{T}x_{j}$

SMO的具体步骤：

第一步：为了满足 $∑imαiyi=0\sum_{i}^{m}\alpha_{i}y_{i}=0$ 公式，首先要固定两个变量 $αi和αj\alpha_{i}和\alpha_{j}$ ，这里以 $α1和α2\alpha_{1}和\alpha_{2}$ 为例，其余的 $αi(i=3,4,...,m)都是已知量\alpha_{i}(i=3,4,...,m)都是已知量$ ，则约束条件变成：