numerical optimization

no 的第三章，介绍了line search methods，其实主要是在讨论如何选择步长。无论是用steepest direction还是newton method，梯度下降方向都有了，也就是pk有了，但是在这个方向上，我们要走多大步子呢。步长选择的不当，可能无法达到minimizer。而如果步长太小了，convergence太慢了。当然收敛速度还受到梯度方向的影响。

在本章中，对ak的选择给了几个condition，也给出了，在不满足条件时的调节方法。同时，作者还给出了，对steepest, newton, quasi-newton来说，在选择ak时一些参数的选择。还有，不单单是ak的选择需要慎重考虑，包括a0，即步长的初始化选择也很有学问。

可能本章中，介绍的newton method平时用不大多，因为里面太多矩阵分解什么的了，但是，本章中的步长选择是贯穿到全书，当然主要是line search method的方法中。

结合第五章中,conjugate gradient method， 我们看到在其中步长都起到了很重要的作用。但是在CG中，步长是由梯度和其它参数共同计算得到的，步长和梯度方向都很重要。