序列最小最优化（Sequential Minimal Optimization, SMO）算法的推导、理解

内容是自己做的 ppt 的截图，有需要的小伙伴可以去 下载，也可以给我留言，看到会回复的。

前言

1998 年，John Platt 提出了序列最小最优化算法 (SMO) 算法用于训练 SVM 分类器。SMO 算法是一种启发式算法，其基本思路是：一次迭代只优化两个变量而固定剩余的变量。

SMO 要解如下凸二次规划的对偶问题

其实就是训练 SVM 分类器

算法过程

精度$ϵ$指 KKT 条件的容错率 toler。
部分 KKT 条件：

比如第二个条件，不要求严格等于 1 ，在容错率范围内都是可以接收的。原文内容如下：

SMO 算法主要有两个部分组成：

1. 选取两个$\alpha$进行优化；
2. 求解两个$\alpha$的解析解。

先说第二个内容

求解$\alpha$的解析解

子问题

假设选择的变量是${\alpha }_1,{\alpha }_2$，其余变量${\alpha }_i(i=3,\cdots ,N)$是固定的，则 SMO 的最优化问题的子问题如下，其中 $K(x_i,xj)=K_{ij}$

首先分析约束条件，重新定义${\alpha }^{}$