最速下降法

最新推荐文章于 2022-11-22 17:27:34 发布

原创最新推荐文章于 2022-11-22 17:27:34 发布 · 4.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#非线性优化 #极值 #梯度 #最速下降法

非线性优化专栏收录该内容

5 篇文章

订阅专栏

摘要：最速下降法（deepest descent）也称为梯度下降法（Gradient descent），是最为常见的非线性规划算法。

1. 引言

在下降迭代算法篇，我们介绍了如何通过下降法来实现非线性规划问题的求解。但如何选择下降方向？这是值得深入探讨的问题。为了使得算法能尽快收敛，一个直观的想法是——选择当前点处函数值减小最快的方向，即我们所说的最速下降方向。这里有两点需要注意：一、我们只有足够的信息判断当前点函数值的最速下降方向，而无法轻易知道全局最小点的方向，就像我们在群山的山腰，不知哪里才是最低的山谷一样。二、短视往往是有害的，当前最优并不代表全局最优（事实证明，它们往往不是！）。你可能以为往下走就可以到达最低的山谷，但你又怎么知道它是不在山头的另一面？

不管怎样，最速下降方向至少是可行的，而且应该不会太差。那如何得到最速下降方向？

上学那会，老师应该给你讲过“梯度方向是函数值增加最快的方向”吧？什么？你睡着了？！！！好吧……老师讲那会，我们都不知道这东西到底有什么用。现在知道了，你要怪老师没讲好，还是怪自己没好好学？算了，不多想，继续看吧……

2. 为何负梯度方向是最速下降方向？

设 $f:\mathbb{R}^n \to \mathbb{R}$ ， $\mathbf{x}_k \in \mathbb{R}^n$ ， $\mathbf{p} \in \mathbb{R}^n \ (\mathbf{p}\neq \mathbf{0})$ ， $\lambda \in \mathbb{R}$ 且 $\lambda > 0$ 。对函数 $f(\mathbf{x})$ 在点 $\mathbf{x}_k$ 处作泰勒展开，得到

$f(\mathbf{x}_k + \lambda \mathbf{p})\approx f(\mathbf{x}_k)+\lambda\mathbf{p}^{T}\nabla f(\mathbf{x}_k)+\frac{1}{2}\lambda^2\mathbf{p}^T \nabla^2 f(\mathbf{x}_k)\mathbf{p}$

因此，函数 $f(\mathbf{x})$ 在点 $\mathbf{x}_k$ 处，方向 $\mathbf{p}$ 上的变化率为

$\frac{f(\mathbf{x}_k + \lambda \mathbf{p})-f(\mathbf{x}_k)}{\lambda} \approx \mathbf{p}^T\nabla f(\mathbf{x}_k)$

注意，在 $\lambda$ 趋向于零时，其高阶项可以忽略不计。为寻找点 $\mathbf{x}_k$ 的最速下降方向，我们只需求解以下约束优化问题

$\min_{\mathbf{p}} \mathbf{p}^T \nabla f(\mathbf{x}_k) \quad \text{s.t.} \quad \|\mathbf{p}\|=1$

由于 $\mathbf{p}^T \nabla f(\mathbf{x}_k) = \|\mathbf{p}\|\cdot\|\nabla f(\mathbf{x}_k)\|\cdot\cos \theta$ ，且 $\|\mathbf{p}\|= 1$ ，有 $\mathbf{p}^T \nabla f(\mathbf{x}_k) = \|\nabla f(\mathbf{x}_k)\|\cdot\cos \theta$ 。故当 $\theta = \pi$ 时，目标函数有最小值。因此，可得

$\mathbf{p} = -\nabla f_k/\|\nabla f_k\|$

另外，根据 $f(\mathbf{x}_k + \lambda \mathbf{p})-f(\mathbf{x}_k)\approx \lambda \mathbf{p}^T\nabla f(\mathbf{x}_k)$ 且 $\lambda > 0$ ，可得以下结论：

下降方向 设 $\nabla f(\mathbf{x}_k)$ 为可微函数 $f:\mathbb{R}^n \to \mathbb{R}$ 在点 $\mathbf{x}_k$ 处的梯度，对 $\mathbf{p} \in \mathbb{R}^n \ (\mathbf{p}\neq \mathbf{0})$ ，若 $\mathbf{p}^T\nabla f(\mathbf{x}_k) < 0$ ，则方向 $\mathbf{p}$ 为函数 $f(\mathbf{x})$ 在点 $\mathbf{x}_k$ 处的下降方向。

又，由于 $\mathbf{p}^T \nabla f(\mathbf{x}_k) = \|\mathbf{p}\|\cdot\|\nabla f(\mathbf{x}_k)\|\cdot\cos \theta$ ，可知，当 $\mathbf{p}$ 与 $\nabla f(\mathbf{x}_k)$ 的夹角 $\theta$ 为钝角时，方向 $\mathbf{p}$ 为函数 $f(\mathbf{x})$ 在点 $\mathbf{x}_k$ 处的下降方向。