支持向量机（SVM）凸二次规划的求解——序列最小最优化算法（SMO）原理及python实现

原问题：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
s.t.
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0⩽{\alpha }_i⩽C,i=1,2,\cdots ,N$$
SMO算法的基本思想是：
如果所有变量的解都满足最优化问题的KKT条件，那么这个最优化问题的解就得到了。否则，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。
这样做的目的是，通过求解两个变量的二次规划问题，能不断靠近原有凸二次规划问题的解，并且计算方法有解析方法。
子问题有两个变量，其中一个为违反KKT条件最严重的那一个，另一个由约束条件自动确定。由与约束条件的存在，子问题实际上只有一个自由变量。
整个SMO算法包含两个部分：求解两个变量二次规划的解析方法和选择变量的启发式算法。

两个变量的二次规划求解方法

假设${\alpha }_1,{\alpha }_2$为变量，其余的量为固定量
设问题的原始可行解为${\alpha }_1^{old},{\alpha }_2^{old}$,最优解为${\alpha }_1^{new},{\alpha }_2^{new}$，并且在沿着约束方向未经剪辑时${\alpha }_2$的最优解为${\alpha }_2^{new,unc}$
由于约束条件存在，因此${\alpha }_2^{new}$的取值范围为：
$$L⩽{\alpha }_2^{new}⩽H$$
其中$L$与$H$是${\alpha }_2^{new}$所在的对角线段端点的界。
如果$y_1\ne y_2$，则
$$L=\max (0,{\alpha }_2^{old}-{\alpha }_1^{old}),H=\min (C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$
如果$y_1=y_2$，则
$$L=\max (0,{\alpha }_2^{old}+{\alpha }_1^{old}-C),H=\min (C,$$