支持向量机（SMO算法原理与简化版实现）

最新推荐文章于 2023-04-20 00:17:20 发布

troysps

最新推荐文章于 2023-04-20 00:17:20 发布

阅读量2.6k

点赞数 7

分类专栏： MachineLearning 文章标签：支持向量机

本文链接：https://blog.youkuaiyun.com/troysps/article/details/80499417

版权

本文详细介绍了支持向量机（SVM）中的SMO（Sequential Minimal Optimization）算法，包括其作为启发式算法的基本思想，如何选择变量以及两个变量的二次规划求解方法。SMO算法通过解决凸二次规划的对偶问题来寻找最优解，涉及KKT条件和变量的约束处理。文章还探讨了变量选择策略，包括违反KKT条件最严重的样本点和能带来足够变化的第二个变量，并给出了SMO算法的伪代码和简化版实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SMO算法原理及实现

支持向量机的学习问题本质上是求解凸二次规划问题
SMO算法序列最小最优化算法就是求解该问题的代表性算法
SMO算法解决的凸二次规划的对偶问题:
$\min\limits_{a} \frac{1}{2} \sum\limits_{i=1}^{N} \sum\limits_{j=1}^{N} \alpha_i \alpha_jy_iy_jK(x_i, x_j) - \sum\limits_{i=1}^{N}\alpha_i$
$\\ s.t. \sum\limits_{i=1}^{N}\alpha_iy_i=0 \\ 0\le \alpha_i \le C, i=1,2,...,N$
问题思考:已知变量 x 输入空间 y 输入空间 – 即训练集中数据集
求解变量实质上为拉格朗日乘子一个变量 $\alpha_i$ 对应与一个样本点 $(x_i, y_i)$ ,变量的总数等于训练样本容量N

SMO算法 – 属于一种启发式算法

其基本思路为:
1.如果所有的变量的解都满足最优化问题的KKT条件那么这个最优化问题的解就得到了
2.否则选择两个变量固定其他变量(任意选择两个拉格朗日乘子) 针对这两个变量构建一个二次规划问题
这个二次规划问题关于这两个变量的解应该更加接近二次规划问题的解使得二次规划问题的目标函数值变得更小
3.此时: 子问题有两个变量一个是违反KKT条件最严重的一个一个是由约束条件自动确定的

注意: 选择两个变量实质上只有一个自由变量
因为等式约束:
$\sum\limits_{i=2}^{N} \alpha_i y_i = 0$