一、最速下降法
1.1 基本原理
梯度下降法和最速下降法的区别是是否需要计算步长。步长的求法,对步长求导等于零,求出步长。直线模拟会有锯齿震荡。
负梯度方向,为下降最快的方向,如下图。

梯度的求法,实际就是求骗导。


本文介绍了最速下降法、梯度下降的求步长方法、牛顿法、高斯牛顿法、LM法和狗腿法,以及预条件共轭梯度法的收敛性分析。重点强调了如何通过预处理改善共轭梯度法的收敛速度,特别是在特征值差异较大的情况下。
梯度下降法和最速下降法的区别是是否需要计算步长。步长的求法,对步长求导等于零,求出步长。直线模拟会有锯齿震荡。
负梯度方向,为下降最快的方向,如下图。

梯度的求法,实际就是求骗导。


2478
2355
951