机器学习中的非梯度下降方法

1.概述

在机器学习的算法实现时，通常采用梯度下降等迭代方法实现，但除此之外，还有牛顿法、拟牛顿法、高斯-牛顿法、共轭梯度法、坐标下降法等，本文对此分别作相应的阐述。

2.牛顿法 

牛顿法又称牛顿迭代法，一般来说，牛顿法主要应用在两个方面，一是方程求根；二是最优化求解。

2.1方程求根

牛顿法的原理是使用函数 的泰勒级数的前几项来寻找方程的根。将函数 在  处展开成泰勒级数如下:

                          &n