Working Set Selection Using Second Order Information for Training Support Vector Machines(2005)
上一篇论文《Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines(1998)》是SMO的开篇之作,里面包含SMO的主体思想,其中关于拉格朗日乘子alpha的选取是启发式的,没有严格的数学证明。这篇文章主要讨论alpha的选取问题,提出了一种更有效地方法并有理论保障。
同时这篇文章也是libsvm中核心类Solver的主体思想,主要讲在SMO中的working set selection问题,文章在一阶近似的基础上提出了二阶近似方法从而使得SMO问题收敛更快,并有理论保障。
SVM的优化问题如下: