1.概述
在机器学习的算法实现时,通常采用梯度下降等迭代方法实现,但除此之外,还有牛顿法、拟牛顿法、高斯-牛顿法、共轭梯度法、坐标下降法等,本文对此分别作相应的阐述。
2.牛顿法
牛顿法又称牛顿迭代法,一般来说,牛顿法主要应用在两个方面,一是方程求根;二是最优化求解。
2.1方程求根
牛顿法的原理是使用函数 的泰勒级数的前几项来寻找方程
的根。将函数
在
处展开成泰勒级数如下:
&n
在机器学习的算法实现时,通常采用梯度下降等迭代方法实现,但除此之外,还有牛顿法、拟牛顿法、高斯-牛顿法、共轭梯度法、坐标下降法等,本文对此分别作相应的阐述。
牛顿法又称牛顿迭代法,一般来说,牛顿法主要应用在两个方面,一是方程求根;二是最优化求解。
牛顿法的原理是使用函数 的泰勒级数的前几项来寻找方程
的根。将函数
在
处展开成泰勒级数如下:
&n