【最优化期末复习】最速下降法

一、“最速”

由高数知识可知，当函数沿着负梯度方向行进时，下降速度最快，所以，“最速方向”就是负梯度方向。

二、求解方法

2.1 已知条件

目标函数：$f(\vec{x})$

梯度：$\vec{g}(\vec{x})=\nabla f(\vec{x})$

当前迭代点：${\vec{x}}_k$（初始点 ${\vec{x}}_0$ 任取）

2.2 迭代方法

下一个迭代点：${\vec{x}}_{k+1}={\vec{x}}_k+t_k{\vec{p}}_k$

其中，由于要满足 “最速下降”， 所以 ${\vec{p}}_k$ 取 $-{\vec{g}}_k$

所以：${\vec{x}}_{k+1}={\vec{x}}_k-t_k{\vec{g}}_k$

特殊地，当 $f(\vec{x})$ 为正定二次函数时：$$t_k=\frac{{\vec{g}}_k^{\mathrm{T}}{\vec{g}}_k}{{\vec{g}}_k^{\mathrm{T}}Q{\vec{g}}_k}$$

2.3 终止准则

如果是做题，一般题目会给定迭代几次或者到何时停止，编程时采用H终止准则：
给定 ${ϵ}_1$、${ϵ}_2$、${ϵ}_3$，当以下三个条件均满足时终止：
（1）$||\nabla f({\vec{x}}_{k+1})||⩽{ϵ}_1$

（2）$\frac{||{\vec{x}}_{k+1}-{\vec{x}}_k||}{||{\vec{x}}_k||+1}⩽{ϵ}_2$

（3）$\frac{|f_{k+1}-f_k|}{|f_k|+1}⩽{ϵ}_3$

一般取：${ϵ}_1=10^{-4}$，${ϵ}_2={ϵ}_3=10^{-5}$

三、直观理解

四、例题

$$\min f(\vec{x})=x_1^2+4x_2^2$$ 迭代两次求 ${\vec{x}}_2$，初始点：${\vec{x}}_0=[1,1{]}^{\mathrm{T}}$

解：$$\vec{g}(\vec{x})=\nabla f(\vec{x})=[2x_1,8x_2{]}^{\mathrm{T}}$$$$f({\vec{x}}_0)=5,{\vec{g}}_0=[2,8{]}^{\mathrm{T}}$$该目标函数是正定二次函数，即：$$f(\vec{x})=\frac{1}{2}{\vec{x}}^{\mathrm{T}}Q\vec{x}=\frac{1}{2}{\vec{x}}^{\mathrm{T}}\left[\begin{array}{cc}2& 0\\ 0& 8\end{array}\right]\vec{x}$$$$\therefore {\vec{x}}_1={\vec{x}}_0-\frac{{\vec{g}}_0^{\mathrm{T}}{\vec{g}}_0}{{\vec{g}}_0^{\mathrm{T}}Q{\vec{g}}_0}{\vec{g}}_0=\left[\begin{array}{c}0.73846\\ -0.04616\end{array}\right]$$然后：$$f({\vec{x}}_1)=0.55385,{\vec{g}}_1=[1.47692,-0.36923{]}^{\mathrm{T}}$$$$\therefore {\vec{x}}_2={\vec{x}}_1-\frac{{\vec{g}}_1^{\mathrm{T}}{\vec{g}}_1}{{\vec{g}}_1^{\mathrm{T}}Q{\vec{g}}_1}{\vec{g}}_1=\left[\begin{array}{c}0.11076\\ 0.11076\end{array}\right]$$