SMO算法

最新推荐文章于 2021-12-10 20:28:39 发布

原创

最新推荐文章于 2021-12-10 20:28:39 发布 · 2.9k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #svm #SMO

SMO（序列最小优化）算法由John Platt提出，用于解决SVM的对偶问题。该算法通过坐标上升法进行优化，每次迭代选择一对变量进行更新以满足约束条件。在SMO中，如果要更新αi，必须同时调整至少另一个变量以保持约束。算法的高效性在于更新αi和αj的过程是高效的，通过解决二次规划问题找到新的α值。SMO的收敛标准是满足KKT条件，且在更新过程中需要考虑如何选择更新的变量对以及如何更新截距b。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SMO(序列最小优化)算法，由John Platt提出，给出了一种有效的解决由SVM导出的对偶问题的方法，让我们首先先介绍一下坐标上升算法。

坐标上升

考虑到解决非限制最优化问题：
$\underset{\alpha}{\mathrm{max}}W(\alpha_1,\alpha_2,...,\alpha_m)$
现在，我们认为W仅仅是以 $\alpha_i$ 为参数的函数，现在开始忽略所有这个问题与SVM之间的关系。我们现在已经见到两个最优化算法，梯度下降法和牛顿算法。我们要学习的新算法叫做坐标上升:
这里写图片描述
在最内层循环中，我们要保持除了一些 $\alpha_i$ 所有的变量不变，然后重新最小化W对应于参数 $\alpha_i$ ，在这里我们更新的顺序为 $\alpha_1,\alpha_2,....,\alpha_m,\alpha_1,\alpha_2,....$ ,这里有一个描述这个过程的图片：
这里写图片描述
图中的椭圆是我们想要最优化的二次方程的等高线。坐标上升被初始化为（-2，-2），并且在图中也画出了它到全局最大化的路径。注意到，坐标上升的每步都是平行于一条坐标轴，原因是我们一次只优化一个变量。