支持向量机 （SMO算法原理与简化版实现）

SMO算法原理及实现

支持向量机的学习问题本质上是求解凸二次规划问题
SMO算法 序列最小最优化算法就是求解该问题的代表性算法
SMO算法 解决的凸二次规划的对偶问题:
$\min\limits_{a} \frac{1}{2} \sum\limits_{i=1}^{N} \sum\limits_{j=1}^{N} \alpha_i \alpha_jy_iy_jK(x_i, x_j) - \sum\limits_{i=1}^{N}\alpha_i$
$\\ s.t. \sum\limits_{i=1}^{N}\alpha_iy_i=0 \\ 0\le \alpha_i \le C, i=1,2,...,N$
问题思考:已知变量 x 输入空间 y 输入空间 – 即训练集中数据集
求解变量实质上为拉格朗日乘子 一个变量$\alpha_i$对应与一个样本点$(x_i, y_i)$,变量的总数等于训练样本容量N

SMO算法 – 属于一种启发式算法

其基本思路为:
1.如果所有的变量的解都满足最优化问题的KKT条件 那么这个最优化问题的解就得到了
2.否则选择两个变量 固定其他变量(任意选择两个拉格朗日乘子) 针对这两个变量构建一个二次规划问题
这个二次规划问题关于这两个变量的解应该更加接近二次规划问题的解 使得二次规划问题的目标函数值变得更小
3.此时: 子问题有两个变量 一个是违反KKT条件最严重的一个 一个是由约束条件自动确定的

注意: 选择两个变量实质上只有一个自由变量
因为等式约束:
$\sum\limits_{i=2}^{N} \alpha_i y_i = 0$

重点:SMO算法实质上包含两个部分
1. 求解两个变量二次规划的解析方法
2.选择变量的启发式方法

1.两个变量二次规划的求解方法

假设选择的两个变量是 $\alpha_1, \alpha_2$ 其他$\alpha_i$是固定的
带入到凸二次规划的对偶问题中, 可以推导为
minalpha1,α2=12K11α21+12K22α22+y1y2K12α1α2−(α1+alpha2)+y1alpha1