最速下降法收敛速度

摘自《数值最优化方法》
\qquad已知 设步长为$\alpha$，下降方向为$d$，$f(x_k+\alpha d)$在$x_k$的$Taylor$展示为
$$f(x_{k+1})=f(x_k+\alpha d)=f(x_k)+\alpha g_k^{T}d+O(||\alpha d|{|}^2)$$为使函数值下降，下降方向满足
$$g_k^{T}d<0$$
\qquad收敛性和收敛速度 收敛性 算法产生的点阵{xk}\{x_{k}\}{xk​}在某种范数$||\cdot ||$意义下满足
$$\underset{k\to \infty }{\lim }||x_k-x^{\ast }||=0$$称算法是收敛的，当从任意初始点出发时，都能收敛到$x^{\ast }$称为具有全局收敛性，仅当初始点与$x_{\ast }$充分接近时才能收敛到$x^{\ast }$称算法具有局部收敛性。
\qquad收敛速度(已知收敛)：若
$$\underset{k\to \infty }{\lim }\frac{||x_{k+1}-x^{\ast }||}{||x_k-x^{\ast }||}=a$$ \qquad 当$0<a<1$时，迭代点列{xk}\{x_{k}\}{xk​}的收敛速度是线性的，这时算法称为线性收敛。当$a=0$时，{xk}\{x_{k}\}{xk​}的收敛速度是超线性的，称为超线性收敛。
\qquad二阶收敛：若
$$\underset{k\to \infty }{\lim }\frac{||x_{k+1}-x^{\ast }||}{||x_k-x^{\ast }|{|}^2}=a$$\qquad$a$为任意常数，迭代点列{xk}\{x_{k}\}{xk​}的收敛速度是二阶的，这时算法称为二阶收敛。超线性收敛和二阶收敛的收敛速度较快，是理想的收敛速度。
\qquad负梯度法和牛顿$(Newton)$型方法 $Newton$型方法特殊情形的一种负梯度方法—最速下降法。首先下降方向满足$g_k^{T}d<0$，为使$|g_{k}d|$达到最大值，则由$Cauchy-Schwarz$不等式
$$|g_k^{T}d|\le ||g_k||||d||$$知当且仅当$d=d_k=-g_k/||g_k||$时，等式成立，$g_k^{T}d$达到最小。考虑在$d_k$方向上的步长，取其负梯度方向即$d_k=-g_k$。
\qquad收敛性分析 1. 给定$G$度量下的范数定义，给出$Kantorovich$不等式。定义 设$G\in {\mathbb{R}}^{n\times n}$对称正定，$u,v\in {\mathbb{R}}^n$则$u$与$v$在$G$度量意义下的内积$(u^{T}v{)}_G$的定义为
$$(u^{T}v{)}_G=u^{T}Gv$$$u$在$G$度量下的范数定义为$||u|{|}_G^2$定义为
$$||u|{|}_G^2=u^{T}Gu$$$G$度量下的$Cauchy-Schwarz$不等式
$$|u^{T}Gu|\le ||u|{|}_G||v|{|}_G$$成立，当且仅当$u,v$共线时等号成立。
\qquad 2.$Kantorovich不等式$ 对于x∈Rn\{0}x\in\mathbb{R}^{n} \verb|\| \{0\}x∈Rn\{0}，有
$$\frac{(x^{T}x{)}^2}{(x^{T}Gx)(x^T{G}^{-1}x)}\ge \frac{4{\lambda }_{max}{\lambda }_{min}}{({\lambda }_{max}+{\lambda }_{min}{)}^2}$$${\lambda }_{max}、{\lambda }_{min}$分别为矩阵$G$的最大、最小特征值。在$G$度量的定义下，$x_k$的误差等价于它的目标函数值$f(x_k)$的误差。
\qquad最速下降法在$G$度量定义下的收敛速度 给定正定二次函数
$$f(x)=\frac{1}{2}{x}^{T}Gx+b^{T}x$$由负梯度方向为$d_k=-g_k$则求解最速下降法步长为
$${\alpha }_{min}=arg\underset{\alpha >0}{\min }f(x_k-\alpha g_k)$$其中
$$\begin{gathered} f(x_k-\alpha g_k)=\frac{1}{2}(x_k-\alpha g_k{)}^{T}G(x_k-\alpha g_k)+b^T \\ =f(x_k)+\frac{1}{2}{g}_k^{T}G{g}_k{\alpha }^2+g_k^T(G{x}_k+b)\alpha \\ =f(x_k)-g_k^T{g}_k\alpha +\frac{1}{2}{g}_k^{T}G{g}_k{\alpha }^2 \end{gathered}$$对$\alpha$求导，由凸函数性质，极小值必要条件，得最优步长为
$${\alpha }_k=\frac{g_k^T{g}_k}{g_k^{T}G{g}_k}$$\qquad将最优步长带上式中，得到迭代方程(二分之一的来历！！！！，使用泰勒展开为一阶没有二分之一，直接带入原方程中有二分之一，有无受泰勒展开的精度影响)
$$f(x_{k+1})=f(x_k)-\frac{1}{2}\frac{(g_k^T{g}_k{)}^2}{g_k^{T}G{g}_k}$$\qquad由$G{x}^{\ast }=-b$得$f(x^{\ast })=-\frac{1}{2}{b}^T{G}^{-1}b$得到
$$\begin{gathered} \frac{f(x_{k+1})-f(x^{\ast })}{f(x_k)-f(x^{\ast })}=1-\frac{\frac{(g_k^T{g}_k{)}^2}{g_k^{T}G{g}_k}}{x_k^{T}G{x}_k+2b^T{x}_k+b^T{G}^{-1}b} \\ =1-\frac{\frac{(g_k^T{g}_k{)}^2}{g_k^{T}G{g}_k}}{(G{x}_k+b{)}^T{G}^{-1}(G{x}_k+b)} \\ =1-\frac{(g_k^T{g}_k{)}^2}{(g_k^{T}G{g}_k)(g_k^T{G}^{-1}{g}_k)} \end{gathered}$$\qquad由在$G$度量的定义下，$x_k$的误差等价于它的目标函数值$f(x_k)$的误差。得：
$$\frac{||x_{k+1}-x^{\ast }|{|}_G^2}{||x_k-x^{\ast }|{|}_G^2}=1-\frac{(g_k^T{g}_k{)}^2}{(g_k^{T}G{g}_k)(g_k^T{G}^{-1}{g}_k)}$$\qquad由$Kantorovich$不等式得到
$$\frac{||x_{k+1}-x^{\ast }|{|}_G^2}{||x_k-x^{\ast }|{|}_G^2}\le (\frac{{\lambda }_{max}-{\lambda }_{min}}{{\lambda }_{max}+{\lambda }_{min}}{)}^2$$得到最速下降法得收敛速度是线性的，这个速度依赖于G的最大、最小特征值。
\qquad条件数 线性方程组$Gx+b=0$是由$G$和$b$确定的(求解$x^{\ast }$)，当$G$和$b$中的数据带有误差时(产生扰动)，则两个参数扰动对线性方程组的求解影响由条件数反映。 $条件数的定义！！！$
$$cond(G)=||G||||G|{|}^{-1}$$\qquad称为矩阵$G$的条件数，条件数与范数有关，如
$$||G|{|}_2||G^{-1}|{|}_2=\frac{{\lambda }_{max}}{{\lambda }_{min}}$$若矩阵$G$的条件数很大，扰动对解的影响就可能很大，这种问题称为病态的。
\qquad由最速下降法收敛速度式得：
$$\frac{{\lambda }_{max}+{\lambda }_{min}}{{\lambda }_{max}-{\lambda }_{min}}=\frac{cond(G)-1}{cond(G)+1}\stackrel{\Delta }{=}\mu$$\qquad最速下降法收敛速度依赖于$G$得条件数，当条件数接近1时，收敛速度接近超线性收敛，条件数越大，收敛速度越慢。