吴立德《数值优化》（Numerical Optimization）视频学习笔记（三）

三．线搜索方法

1.方法概述

选一个方向，然后确定一个步长。方向以梯度方向作为标准来衡量。

（1）最速下降方向（负梯度方向）。
（2）牛顿方向（标准二次函数可以一次到位）。
（3）拟牛顿方向（怎么选择B_k，方法比较多）。
（4）共轭梯度方向。
（5）下降方向：选定下降方向后，只与步长有关，变成一个一元函数，此函数在零点的导数一定是小于0的，这样才是一个下降的方向（也就是看一开始的瞬间是不是下降的）。负梯度一定是下降方向，牛顿方向不一定（必须二阶导矩阵是正定的才行，所以要修正），拟牛顿也不一定（一个矩阵是正定的，那么它的逆阵也是正定的）。

下图为关于步长的一元函数：

2.步长

（1）下降最多方向：一般就是要选择下降最多的那个步长（考虑上面的那个一元函数）
（2）wolfe条件：包括充分下降条件和曲率条件两个条件。

充分下降条件：使得步长满足一定的条件即可，即是能够比给定的一个恒定下降速率下降得多就行。

曲率条件：保证了步长不会太小。

（3）引理3.1说明了满足wolfe条件的步长是存在的。

3.函数插值

具体求解φ函数时，用函数插值，也就是拟合。三次多项式给出任意组合的四个条件来确定多项式的系数来进行插值。求下降最多方向时，涉及到求极值，用插值的函数去代替。用三次去拟合的话，求导数（二次）为0很好求解。下图为吴教授举的例子，先试一个步长，然后用得出的四个条件去求解三次多项式，然后再求极值，求出最优的步长，再迭代。

4.引理3.2

只是写了出来，下节课再进行证明。