线搜索方法

线搜索方法

本文主要介绍线搜索方法（包含梯度下降，牛顿法，拟牛顿法的分析）。

线搜索方法是一种迭代算法，迭代的过程由下列公式给出。

$$x_{k+1}=x_k+{\alpha }_k{p}_k$$

其中${\alpha }_k$为步长，$p_k$为方向。我们需要确定这两个参数，来帮助我们迭代。

步长

在理想情况下我们需要选择步长来最小化$\varphi (\alpha )=f(x_k+\alpha p_k)，\alpha >0$。但是寻找到满足最小化的情况很难。经典的线搜索算法尝试$\alpha$的一系列候选值，当满足某些条件时，停下来时接收这些值中的一个。

WOLFE 条件

首先我们定义一下

$$\varphi (\alpha )=f(x_k+\alpha p_k),\alpha >0$$

wolfe条件包含了两个条件，第一个是充分下降（sufficient decrease），第二个是曲率条件（curvature conditions）。

充分下降

$$f(x_k+\alpha p_k)\le f(x_k)+c_1\alpha \nabla f_k^T{p}_k$$

其中$c_1\in (0,1)$,这个说明函数的下降需要和步长和方向导数成正比，在这里叫作Armijo condition。等式的右边是一个关于$\alpha$的线性函数，斜率是负的。

曲率条件

当$\alpha$很小的时候充分下降退化为$f(x_k+\alpha p_k)\le f(x_k)$，无法保证算法的收敛性，所以还需要增加第二个条件来保证步长不会太小。

$$\nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k\ge c_2\nabla f_k^T{p}_k$$

等式的左边是$\varphi ({\alpha }_k)$的导数。曲率条件的意思是$\varphi$在${\alpha }_k$的斜率大于$c_2\times {\varphi }^{\prime }(0)$。从直观上来看如果等式左边接近0时，曲率接近水平，这样就接近最优解。

上述两个条件共同构成了Wolfe条件。强Wolfe条件和wolfe第一个不等式一样，只是在第二个不等式换成

$$|\nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k|\le c_2|\nabla f_k^T{p}_k|$$

换成这样是为了不让${\varphi }^{\prime }({\alpha }_k)$过大。

THE GOLDSTEIN CONDITIONS

与Wolfe条件一样，Goldstein条件也能保证充分下降并且步长α不会太短。Goldstein条件也可以表述为一对不等式，如下所示:

$$f(x_k)+(1-c){\alpha }_k\nabla f_k^T{p}_k\le f(x_k+{\alpha }_k{p}_k)\le f(x_k)+c{\alpha }_k\nabla f_k^T{p}_k$$

第二个不等式就是充分下降条件，而第一个不等式对步长的限制参照上图可以比较直观的看出来。

Backtracking Line Search

即首先定一个值$\bar{\alpha }$，然后反复乘以$\rho$,直到最后满足条件。

线搜索方法收敛性分析

首先我们定义

$$cos{\theta }_k=\frac{-\nabla f_k^T{p}_k}{\Vert \nabla f_k\Vert \Vert p_k\Vert }$$

我们有定理

如果

$$\Vert \nabla f(x)-\nabla f(\tilde{x})\Vert \le L\Vert x-\tilde{x}\Vert$$

那么

$$\sum _{k=0}co{s}^2{\theta }_k{\Vert \nabla f_k\Vert }^2<\infty$$

这个定理还有一些条件需要满足，具体参照书本，这里就不细写了😬。定理的证明书中也有详细介绍。

收敛速度

最速下降法的收敛速度

为简单起见，在最速下降法中，假设目标函数为二次函数

$$f(x)=\frac{1}{2}{x}^{T}Qx-b^{T}x$$

我们可以很容易的算出步长为

$${\alpha }_k=\frac{\nabla f_k^T\nabla f_k}{\nabla f_k^{T}Q\nabla f_k}$$

则算法的迭代公式为

$$x_{k+1}=x_k-\left(\frac{\nabla f_k^T\nabla f_k}{\nabla f_k^{T}Q\nabla f_k}\right)\nabla f_k$$

我们定义

$${\Vert x\Vert }_Q^2=x^{T}Qx$$

由于梯度为0的时候$Q{x}^{\ast }=b$,我们可以得到

$$\frac{1}{2}{\Vert x-x^{\ast }\Vert }_Q^2=f(x)-f(x^{\ast })$$

接着再得到

$${\Vert x_{k+1}-x^{\ast }\Vert }_Q^2=\left\{1-\frac{{\left(\nabla f_k^T\nabla f_k\right)}^2}{\left(\nabla f_k^{T}Q\nabla f_k\right)\left(\nabla f_k^T{Q}^{-1}\nabla f_k\right)}\right\}{\Vert x_k-x^{\ast }\Vert }_Q^2$$

但是这样的表达式很难看，所以有数学家又将这些改写成了

$${\Vert x_{k+1}-x^{\ast }\Vert }_Q^2\le {\left(\frac{{\lambda }_n-{\lambda }_1}{{\lambda }_n+{\lambda }_1}\right)}^2{\Vert x_k-x^{\ast }\Vert }_Q^2$$

其中${\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n$是Q的特征值。这证明了最速下降法的收敛速度是线性收敛。

牛顿法收敛速度

在牛顿法中方法的表达如下所示

$$P_k^N=-{\nabla }^2{f}_k^{-1}\nabla f_k$$

我们能够得到定理，具体证明参照书本

拟牛顿法收敛速度

$$P_k=-B_k^{-1}\nabla f_k$$

拟牛顿法的收敛速度为超线性收敛

海森矩阵修正的牛顿法

由于海森矩阵有时候并不能保证它是正定的，这个时候算法的收敛性无法得到保证，所以有时我们需要对海森矩阵进行修改。

我们可以使用Levenberg-Marquardt修正，这个修正的思路是比较简单。由于原本的海森矩阵中有负的特征值，所以我们另外构造出一个对角阵$\mu I$,将这个对角阵加到原本的海森矩阵上，从而保证得到的矩阵为正定的矩阵。使用得到的矩阵代替原本的矩阵，这样就能保证算法的收敛性。

参考资料

① Numerical Optimization