机器学习实战【7】（SMO算法实现）

最新推荐文章于 2024-04-30 10:09:11 发布

原创

最新推荐文章于 2024-04-30 10:09:11 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

本文详述了SMO算法的原理和实现，包括二元优化、解的修剪、b的更新和参数的启发式选择。SMO算法通过解决两个参数的子问题提高效率，对结果进行修剪，并更新b值。文章还讨论了参数选择策略及Python实现，揭示了书中实现可能存在的误差缓存问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本博客记录《机器学习实战》（MachineLearningInAction）的学习过程，包括算法介绍和python实现。

SMO算法

前两篇文章介绍了SVM的原理，经过一番推导，原始问题转化为：

min α \sum i = 1 n 1 2 \sum i, j = 1 n α i α j y i y j K (x i, x j) - α i s . t ., 0 \leq α i \leq C, i = 1, . . ., n \sum i = 1 n a i y i = 0

$\min_{\alpha} \sum_{i=1}^{n} \frac{1}{2}\sum_{i,j=1}^{n}\alpha_i \alpha_j y_i y_j K( x_i, x_j )-\alpha_i \\ s.t.,0\le\alpha_i\le C, i = 1, ..., n\\ \sum_{i=1}^{n}a_iy_i =0$
SMO算法就是用来解决这个问题，求解出这些

α $\alpha$ 之后，超平面的参数就可以通过这些

α $\alpha$ 计算出来。

二元优化

SMO算法的核心在于，它把原本n个参数的优化问题拆分为很多个小的子问题，每次只优化其中的两个参数而固定其它参数，两个参数的优化是很快的，从而使得最终算法的效率非常高。
假设在n个参数 $(\alpha_1, ...,\alpha_n)$ 中选取 $\alpha_1$ 和 $\alpha_1$ 进行优化，其它参数全部视为常数，则原问题化简为：