最速下降法——负梯度方向使函数值下降的证明

梯度下降法（Gradient Descent）

定义

梯度下降法（gradient descent）或最速下降法（steepest descent）是求解无约束最优化问题的一种最常用的方法，具有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。

目标函数

假设$f(\mathbf{x})$是${\mathbb{R}}^n$上具有一阶连续偏导数的函数。要求解的无约束最优化问题是：
$$\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }f(\mathbf{x})$$
${\mathbf{x}}^{\ast }$表示目标函数$f(\mathbf{x})$的极小点。

迭代过程

梯度下降法是一种迭代算法。选取适当的初值${\mathbf{x}}^{(0)}$，不断迭代，更新$\mathbf{x}$的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新$\mathbf{x}$的值，从而达到减少函数值的目的。

泰勒展开

由于$f(\mathbf{x})$具有一阶连续偏导数，若第$k$次迭代值为${\mathbf{x}}^{(k)}$，则可将$f(\mathbf{x})$在${\mathbf{x}}^{(k)}$附近进行一阶泰勒展开：
$$f(\mathbf{x})=f({\mathbf{x}}^{(k)})+{\mathbf{g}}_k^{\mathrm{T}}(\mathbf{x}-{\mathbf{x}}^{(k)})$$
这里，${\mathbf{g}}_k=\nabla f({\mathbf{x}}^{(k)})$为$f(\mathbf{x})$在${\mathbf{x}}^{(k)}$的梯度。

更新公式

求出第$k+1$次迭代值${\mathbf{x}}^{(k+1)}$：
$${\mathbf{x}}^{(k+1)}={\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{p}}_k$$
其中，${\mathbf{p}}_k$是搜索方向，取负梯度方向${\mathbf{p}}_k=-\nabla f({\mathbf{x}}^{(k)})$，${\lambda }_k$是步长，

最小化条件
$$\begin{array}{rl}f({\mathbf{x}}^{(k+1)})& =f({\mathbf{x}}^{(k)})+{\mathbf{g}}_k^{\mathrm{T}}({\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{(k)})\\ & =f({\mathbf{x}}^{(k)})+{\mathbf{g}}_k^{\mathrm{T}}({\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{(k)})\\ & =f({\mathbf{x}}^{(k)})-{\lambda }_k\Vert {\mathbf{g}}_k{\Vert }^2\end{array}$$
由于${\lambda }_k\Vert {\mathbf{g}}_k{\Vert }^2⩾0$，因此$f({\mathbf{x}}^{(k+1)})⩽f({\mathbf{x}}^{(k)})$ 。

精确一维搜索

由一维搜索确定，即${\lambda }_k$使得：
$$f({\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{p}}_k)=\underset{\lambda ⩾0}{\min }f({\mathbf{x}}^{(k)}+\lambda {\mathbf{p}}_k)$$

梯度下降法（Gradient Descent）

(1) 取初始值${\mathbf{x}}^{(0)}\in {\mathbb{R}}^n$，置$k=0$。
(2) 计算$f({\mathbf{x}}^{(k)})$。
(3) 计算梯度${\mathbf{g}}_k=\nabla f({\mathbf{x}}^{(k)})$，当$\Vert {\mathbf{g}}_k\Vert <ϵ$时，停止迭代，令${\mathbf{x}}^{\ast }={\mathbf{x}}^{(k)}$；否则，令${\mathbf{p}}_k=-\nabla f({\mathbf{x}}^{(k)})$，求${\lambda }_k$，使
$$f({\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{p}}_k)=\underset{\lambda ⩾0}{\min }f({\mathbf{x}}^{(k)}+\lambda {\mathbf{p}}_k)$$
(4) 置${\mathbf{x}}^{(k+1)}={\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{p}}_k$，计算$f({\mathbf{x}}^{(k+1)})$。
当$\Vert f({\mathbf{x}}^{(k+1)})-f({\mathbf{x}}^{(k)})\Vert <ϵ$或$\Vert {\mathbf{x}}^{(k+1)}-{\mathbf{x}}^{(k)}\Vert <ϵ$时，停止迭代，令${\mathbf{x}}^{\ast }={\mathbf{x}}^{(k+1)}$。
(5) 否则，置$k=k+1$，转(3)。

当目标函数是凸函数时，梯度下降法的解是全局最优解。一般情况下，其解不保证是全局最优解。梯度下降法的收敛速度也未必是很快的。

解释

1. 初始化：选择一个初始点${\mathbf{x}}^{(0)}$并设置迭代计数器$k=0$。
2. 计算函数值：计算当前点${\mathbf{x}}^{(k)}$的函数值$f({\mathbf{x}}^{(k)})$。
3. 计算梯度：计算当前点${\mathbf{x}}^{(k)}$的梯度${\mathbf{g}}_k=g({\mathbf{x}}^{(k)})$。
   • 如果梯度的模小于给定的阈值$\epsilon$，则停止迭代，并将当前点作为解${\mathbf{x}}^{\ast }$。
   • 否则，确定搜索方向${\mathbf{p}}_k=-g({\mathbf{x}}^{(k)})$，并找到步长${\lambda }_k$，使得函数值最小。
4. 更新点：更新点${\mathbf{x}}^{(k+1)}={\mathbf{x}}^{(k)}+{\lambda }_k{\mathbf{p}}_k$，并计算新的函数值$f({\mathbf{x}}^{(k+1)})$。
   • 如果函数值的变化或点的变化小于给定的阈值$\epsilon$，则停止迭代，并将当前点作为解${\mathbf{x}}^{\ast }$。
5. 迭代：继续迭代，直到满足停止条件。

通过这些步骤，梯度下降法逐步逼近函数的极小值点。

算法步骤

算法 A.1（梯度下降法）

• 输入：目标函数$f(\mathbf{x})$，梯度函数$g(\mathbf{x})=\nabla f(\mathbf{x})$，计算精度$ϵ$；
• 输出：$f(\mathbf{x})$的极小点${\mathbf{x}}^{\ast }$。

总结

• 梯度下降法 是一种迭代算法，通过不断更新参数$\mathbf{x}$来最小化目标函数$f(\mathbf{x})$。
• 搜索方向 通常选择负梯度方向${\mathbf{p}}_k=-\nabla f({\mathbf{x}}^{(k)})$。
• 步长${\lambda }_k$通过一维搜索确定，以确保每次迭代都能有效减少函数值。
• 收敛条件 通常是当梯度的模小于某个阈值$ϵ$时停止迭代。