《最优化理论与算法》(陈宝林）——第10章：使用导数的最优化方法

最速下降法

核心思想

负梯度方向为最速下降方向

计算步骤

算法讨论

• 越接近极值点，锯齿现象越严重，收敛越慢。
  
• Hesse矩阵条件数越大，锯齿现象越严重，收敛越慢
  
  

• 总结：

1. 最速下降方向反映了目标函数的一种局部性质．
2. 从局部看，最速下降方向确是函数值下降最快的方向，选择这样的方向进行搜索是有利的
3. 但从全局看，由千锯齿 现象的影响，即使向着极小点移近不太大的距离，也要经历不小的弯路，因此使收敛速率大为减慢。
4. 最速下降法并不是收敛最快的方法，相反，从全局看，它的收敛是比较慢的．
5. 因此，最速下降法一般适用千计算过程的前期迭代或作为间插步骤．
6. 当接近极小点时，再使用最速下降法，试图用这种方法达到迭代的终止，这样做并不有利.