坐标上升/下降法（Coordinate Ascent/Descent）

本文partly参考周志华的西瓜书和这篇知乎文章。

学SVM时遇到二次规划要用SMO（Sequential Minimal Optimization序列最小优化）算法，在网上看资料发现坐标上升/下降法的思想和SMO相似，特别有意思，特此详细挖一下。

CA—求极大值
CD—求极小值

CA/CD是非梯度优化方法，不需要计算目标函数的梯度，在每步迭代中只沿一个坐标方向进行搜索，然后循环使用所有坐标方向来达到目标函数的局部极小值。即：每次更新多元函数中的一维（优化一个变量，沿着一个坐标方向做一维最优化），经过多次迭代直到收敛到局部最优点，但迭代的次数较多。

以求解$f(\mathbf{x})$的局部极小值为例，$\mathbf{x}=(x_1,x_2,\dots ,x_d{)}^{}$