smo 算法

全称：序列最小最优化算法（sequential minimal optimization）


推导
已知 SVM 的目标函数为：
$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N \end{gathered}$$
由约束条件可知，对两个变量 $\alpha 1,\alpha 2$,有：
$${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{\alpha }_n{y}_n$$
令等式右边为一个常数 k（自己设），再将 ${\alpha }_2$ 用 ${\alpha }_1$ 表示，则原始问题变成单变量二次规划问题的解。
将原始问题表示成由 ${\alpha }_1,{\alpha }_2$ 表示的表示式，如下所示：
$$原式=\frac{1}{2}{\alpha }_1^2{K}_{11}+\frac{1}{2}{\alpha }_2^2{K}_{22}+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}+\frac{1}{2}\sum _{i=3}^N\sum _{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_{ij}-\sum _{i=3}^N{\alpha }_i$$
其中令最后两项 $\frac{1}{2}{\sum }_{i=3}^N{\sum }_{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_{ij}-{\sum }_{i=3}^N{\alpha }_i=constant$，令 $v_i={\sum }_{j=3}^N{y}_j{\alpha }_j{K}_{ij}$,
那么
$$原式=\frac{1}{2}{\alpha }_1^2{K}_{11}+\frac{1}{2}{\alpha }_2^2{K}_{22}+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2+constant$$
将 ${\alpha }_1$ 用 ${\alpha }_2$ 表示，再带入原式：
$$min\Phi ({\alpha }_2)=\frac{1}{2}(k-y_2{\alpha }_2{)}^2{K}_{11}+\frac{1}{2}{\alpha }_2^2{K}_{22}+y_2{K}_{12}(k-y_2{\alpha }_2){\alpha }_2-(k-y_2{\alpha }_2)y_1-{\alpha }_2+(k-y_2{\alpha }_2)v_1+y_2{\alpha }_2{v}_2$$
求偏导：
$$\frac{\partial \Phi ({\alpha }_2)}{\partial {\alpha }_2}=(K_{11}+K_{22}-2K_{12}){\alpha }_2-K_{11}k{y}_2+K_{12}k{y}_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0$$
令
$$f(x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)+b$$
那么：
$$\begin{gathered} v_1=f(x_1)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b \\ {v}_2=f(x_2)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b \end{gathered}$$
将 $k={\alpha }_1{y}_1+{\alpha }_2{y}_2$带入上述偏导式：
$$(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unc}=y_2((K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+f(x_1)-f(x_2))$$
其中$alph{a}_2^{new,unc}$ 代表优化后的未裁剪的${\alpha }_2$,对应优化前的 ${\alpha }_2^{old}$。
令：
$$\begin{gathered} 误差E_i=f(x_i)-y_i, \\ \eta =K_{11}+K_{22}-2K_{12} \end{gathered}$$
那么：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$
因为 ${\alpha }_i\le C$, 所以 ${\alpha }_1,{\alpha }_2$ 的约束可以表示成如下两个图形：

原本的约束为：$0\le {\alpha }_i\le C$, 现在变为 $L\le {\alpha }_i\le H$.
L, H分别为上图中 ${\alpha }_2$ 的两个边界点。
若 $y_1̸=y_2$,则：
$$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old}),H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$
若 $y_1=y_2$, 则：
$$L=max(0,a_2^{old}+{\alpha }_1^{old}-C),H=min(C,{\alpha }_2^{old}+{\alpha }_1^{old})$$

那么经剪辑后：
$${\alpha }_2=\{\begin{array}{l}H,{\alpha }_2^{new,unc}>H\\ alph{a}_2^{new,unc},L\le {\alpha }_2^{new,unc}\le H\\ L,{\alpha }_2^{new,unc}<H\end{array}$$
由 ${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}$ ,得：
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2{\alpha }_2^{new}$$


有了变量的求解公式之后，就是如何选择变量了。

首先要理解 smo 算法的思路：如果所有变量都满足 KKT 条件，那么最优化问题的解就得到了。（关于 kkt 条件，可以看这篇文章：http://jacoxu.com/最优化理论与kkt条件/）
那么在我们选择的两个变量中，至少有一个是违反 kkt 条件的。对另一个变量，我们希望它是目标函数值减小得最快，但这样比较复杂，第二个变量的选择标准是能够有足够大的变化。
因为 ${\alpha }_2$ 依赖于 $|E_1-E_2|$，所以选择使 $|E_1-E_2|$ 变化最大的 ${\alpha }_2$。

计算 b 值
每次完成优化后，都要重新计算 b。
当 $0<{\alpha }_1^{new}<C$ 时，满足 $y_{i}f(x_i)=1$（此时所有满足条件的点为支持向量）,即：
$$\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$$
$$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$$
又：
$$E_1=f(x_1)-y_1=\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{new}{y}_1{K}_{11}+{\alpha }_2^{new}{y}_2{K}_{21}+b^{old}-y_1$$
所以：
$$b_1^{new}=-E_1-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old}-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old})$$
同理可得 $b_2^{new}$。
对求得的所有 $b_i$求平均值。

先写到这里，并不完善，待更新。。。


参考：
周志华 《机器学习》
李航 《统计学习方法》
https://blog.youkuaiyun.com/luoshixian099/article/details/51227754