SVM——详细讲解SMO算法优化两个变量以及变量的选择

一、SMO(序列最小最优化)优化两个变量

以非线性支持向量机的对偶问题为例，使用SMO算法求解该对偶问题的最优参数α^* 。
非线性支持向量机的对偶问题如下：

对偶问题转换：(如何转换请看这篇博客)

存在最优解(w^*,b^* ,ξ^*, α^* ,μ^*)使得w^*,b^* ,ξ^* 是原始问题的最优解且 α^* 是对偶问题的最优解的充要条件是(w^*,b^* ,ξ^*, α^* ,μ^*)满足KKT条件。
KKT条件如下：

上述的KKT条件太过分散，很难看出关联，所以先对KKT条件进行化简：
首先令g(x_i) =w·x_i+b ,
当α_i = 0时，由C - α_i - μ_i = 0可得u_i=C(C不等于0)，由A和C知y_i(w·x_i+b)-1+ ξ_i >=0。因为u_i不等于0，由B知ξ_i=0，所以y_i(w·x_i+b)-1>=0即y_i(w·x_i+b) >= 1即 y_ig(x_i) >= 1。
当0 < α_i < C 时, 由C - αi - μi = 0可得 u_i = C - α_i ，因为0 < α_i < C，所以μ_i > 0。因为0 < α_i < C ，由A和C知y_i(w·x_i+b)-1+ ξ_i =0。因为u_i不等于0，由B知ξ_i=0，所以y_i(w·x_i+b)-1 =0即y_i(w·x_i+b) = 1即 y_ig(x_i) = 1。
当 α_i = C时，由A可得y_i(w·x_i+b)-1+ ξ_i =0，即y_i(w·x_i+b) + ξ_i = 1 (D式) ，又因为C - α_i - μ_i = 0，所以μ_i =0，所以由B可得ξ_i>=0。所以由D式可得 y_ig(x_i) <= 1。
化简后的KKT条件如下：

直接求出最优的参数α(α₁,α₂, …, α_N)是很难的，SMO算法的思想是每次只优化α的两个分量，最终使得α的所有分量都满足KKT条件。

SMO算法从这里开始

1.1 SMO优化选中的两个变量
现在开始讲如何优化参数α中被选中的两个分量，首先列出对偶问题及其KKT条件。