SVM支持向量机目标函数及参数训练过程说明解读

目标函数如下：

这个和线性可分支持向量机形式类似推导过程相同，区别在于利用拉格朗日求最优化值的时候，多了参数C和ksi，推导出来的约束条件alpha_i 从>=0  变成了0<= alpha_i <=C

对alpha_i 求导（梯度gradient可以由如下导数和约束推导得到）：

含有不等式约束的KKT条件是SVM收敛的充分必要条件：如下式子也是训练停止的条件。

解释如下：当alpha-i在范围内(0,C)时， 为支持向量，所以yi × w × Kernel(xi,xj) +b = 1, 在分割平面上。

当alpha-i==0时， 为正常的非支持向量，所以yi × w × Kernel(xi,xj) +b >= 1, 在分割平面外。

alpha-i ==C， 为C时，为软间隔内的向量，所以yi × w × Kernel(xi,xj) +b <= 1, 在分割平面内。

SMO方法----alpha-i 参数训练更新

目标函数转化成如下式子，每次取2个参数视为变量，其他alpha值视为固定值。针对alpha-i  alpha-j进行二次规划优化极值

所以有如下式子：

画