最优化之最速下降

最新推荐文章于 2024-01-04 00:03:44 发布

原创最新推荐文章于 2024-01-04 00:03:44 发布 · 2.9k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#最优化 #梯度下降 #最速下降

本文深入探讨了无约束优化中最速下降法的原理与应用，包括算法步骤、锯齿现象及一个具体例题的详细解答。

第四章无约束优化方法

4.2 最速下降法

最速下降法的基本思想：当当前点 $x_k$ 处的梯度不为0时（或不满足精度要求时），从当前点 $x_k$ 出发，沿负梯度方向 $−∇f(xk)-\nabla f(x_{k})$ 前进到下一个点 $x_{(k+1)}$ 。

4.2.1 算法实现

考虑无约束优化问题:

$m i n f (x)$

其中 $f$ 具有一阶连续偏导数。

最速下降算法：
输入：函数 $f$ ： $R^n$ : $→\rightarrow$ $R$ ,具有一阶连续偏导数，初始点 $x^{(0)}$ 允许误差 $ϵ\epsilon$ 。
输出：满足精度要求的点 $x‾\overline{x}$ 。
    1 $k←1k\gets 1$
    2 $||\nabla f(x^{(k)})|| > \epsilon$ $d o$
    3    下降方向 $dk←−∇f(x(k))d^{k}\gets −\nabla f(x^{(k)})$ 。
    4    计算步长因子 $αk\alpha_{k}$ 。
    5    $x(k+1)←d(k)+αkd(k)x^{(k+1)} \gets d^{(k)}+\alpha_{k}d^{(k)}$ 。
    4    $k←k+1k\gets k+1$
    5 $e n d w h i l e$
    6 $r e t u r n$ $xˉ←x(k)\bar{x}\gets x^{(k)}$

4.2.2 例题讲解

Example :用最速下降法解 $f(x)=2x^{2}_{1}+x^{2}_{2}$ ，初始点 $x(1)=(11)x^{(1)}=\begin{pmatrix}1 \\ 1\end{pmatrix}$ ， $ϵ=0.1\epsilon=0.1$ 。
解：目标函数在 $x$ 处的梯度为：

$∇f(x)=(4x12x2)\nabla f(x)=\begin{pmatrix}4x_{1}\\ 2x_{2}\end{pmatrix}$

第1次迭代：

$∇f(x(1))=(42)\nabla f(x^{(1)})=\begin{pmatrix}4\\ 2\end{pmatrix}$ ，其模为 $42+22>0.1\sqrt{4^{2}+2^{2}}>0.1$

令搜索方向 $d(1)=−(∇f(x(1)))=(−4−2)d^{(1)}=-(\nabla^{}f(x^{(1)}))=\begin{pmatrix}-4\\ -2\end{pmatrix}$

从 $x^{(1)}$ 出发，沿方向 $d^{(1)}$ 进行一维搜索，求步长 $α1\alpha_{1}$ ，即求解 $minα>0f(x(1)+αd(1))min_{\alpha>0}f(x^{(1)}+\alpha d^{(1)})$ ,其中，

$f(x(1)+αd(1))f(x^{(1)}+\alpha d^{(1)})$ = $f((11)+α(−4−2))=2(1−4α)2+(1−2α)2f(\begin{pmatrix}1\\ 1\end{pmatrix}+\alpha \begin{pmatrix}-4\\ -2\end{pmatrix}) = 2(1-4\alpha)^{2}+(1-2\alpha)^{2}$

求导解出最小值点为 $α1=518\alpha_1=\frac{5}{18}$

因此，在方向 $d^{(1)}$ 处问题的极小点为 $x(2)=d(1)+α1d(1)=(−1/94/9)x^{(2)}=d^{(1)}+\alpha_{1}d^{(1)}=\begin{pmatrix}-1/9\\ 4/9\end{pmatrix}$

第2次迭代：

$∇f(x(2))=(−4/98/9)\nabla f(x^{(2)})=\begin{pmatrix}-4/9\\ 8/9\end{pmatrix}$ ，其模为 $(−4/9)2+(8/9)2>0.1\sqrt{(-4/9)^{2}+(8/9)^{2}}>0.1$

令搜索方向 $d(2)=−(∇f(x(2)))=(4/9−8/9)d^{(2)}=-(\nabla^{}f(x^{(2)}))=\begin{pmatrix}4/9\\ -8/9\end{pmatrix}$

从 $x^{(2)}$ 出发，沿方向 $d^{(2)}$ 进行一维搜索，求步长 $α2\alpha_{2}$ ，即求解 $minα>0f(x(2)+αd(2)min_{\alpha>0}f(x^{(2)}+\alpha d^{(2})$ ,其中，

$f(x(2)+αd(2))f(x^{(2)}+\alpha d^{(2)})$ = $f((−1/94/9)+α(4/9−8/9))f(\begin{pmatrix}-1/9\\ 4/9\end{pmatrix}+\alpha \begin{pmatrix}4/9\\ -8/9\end{pmatrix})$