《神经网络设计》读书笔记——性能优化（二）

最速下降法

最速下降法也称为梯度下降法(gradient descent)

• $x_{k+1}=x_k-\alpha_kg_k$

确定学习速度$\alpha_k$的常见方法：

• 选择固定的$\alpha_k$值（通常为0.01或0.02）
• 使基于$\alpha_k$的性能指数$F(x)$每次迭代最小化，即沿下列方向实现最小化：$x_k-\alpha_kg_k$

稳定的学习速度

对于任意函数，我们不可能确定最大的可行学习速度，但对于二次函数是可以的

假定性能指数是一个二次函数，那么最速下降法稳定条件为：

• $|(1-\alpha\lambda)|<1$

如果性能指数有一个强极小点，则其特征值为正数，上式可化为

• $\alpha<{2\over{\lambda_{max}}}$

学习速度受限于赫森矩阵的最大特征值$\lambda_{max}$。
在最大特征值的特征向量方向上收敛最快。在最小特征值的特征向量方向上收敛最慢。
最小特征值和学习速度共同决定了算法收敛的快慢。特征值大小相差越大，最速下降法收敛越慢

沿直线最小化

沿直线$x_{k+1}=x_k+\alpha_kp_k$的最小学习速度为：

• $\alpha_k=-{{g_k}^Tp_k\over{{p_k}^TAp_k}}$

沿直线$x_{k+1}=x_k+\alpha_kp_k$最小化后：

• $g_{k+1}^Tp_k=0$