Newtown(牛顿)方法收敛速度

摘自《数值最优化方法》
\qquad 设$f(x)$具有连续得二阶偏导数，当前得迭代点是$x_k$。$f(x)$在$x_k$处得$Taylor$展开式为(以基本$Newtown$法为例($\alpha$=1))
$$f(x_{k+1})=f(x_k+d)=f(x_k)+g_k^{T}d+\frac{1}{2}{d}^T{G}_{k}d+O(||d|{|}^2)$$ \qquad 在点$x_k$的领域内，使用二次函数
$$q_k(d)\stackrel{\Delta }{=}f(x_k)+g_k^{T}d+\frac{1}{2}{d}^{T}Gd$$近似$f(x_k+d)$，求解问题
$$min{q}_k(d)$$ \qquad 若$G_k$正定，则方程组
$$G_{k}d=-g_k$$ \qquad 解为$d_k=-G_k^{-1}{g}_k$得到的方向为$Newtown$方向。只要$G_k$正定，$Newtown$方向$d_k$就是下降方向，即$g_k^T{d}_k=-g_k^T{G}^{-1}{g}_k<0$。
\qquad 基本$Newtown$方法的收敛性 $定义$ 设$f(x)\in C^2,f(x)$的$Hesse$矩阵$G(x)$满足$Lispschitz$条件，即存在$\beta >0$，对任给的$x$与$y$，有$||G(x)-G(y)||\le \beta ||x-y||$。若$x_0$充分接近$f(x)$的局部极小值点$x^{\ast }$，且$G^{\ast }$正定，则$Newtown$对所有的$k$有定义，并以二阶速度收敛，梯度序列 { ∣ ∣ ∇ f k ∣ ∣ } \{||\nabla f_{k}||\} {∣∣∇fk​∣∣}二阶收敛到零。

---

$$G_k={\nabla }^2{f}_k{g}_k=\nabla f_k$$

---

\qquad 收敛速度证明 依据基本$Newtown$法定义和最优条件$\nabla f_{\ast }=0$得到
$$x_k+d-x^{\ast }=x_k-x^{\ast }-{\nabla }^2{f}_k^{-1}\nabla f_k={\nabla }^2{f}_k^{-1}[{\nabla }^2{f}_k^{}(x_k-x^{\ast })-(\nabla f_k-\nabla f_{\ast })]$$因为
$$\begin{gathered} \nabla f_k-\nabla f_{\ast }={\int }_0^1{\nabla }^{2}f(x_k+t(x^{\ast }-x_k))(x_k-x^{\ast })dt \\ ={\int }_0^1{\nabla }^{2}f(x_k+t(x^{\ast }-x_k))d(t(x_k-x^{\ast })) \\ =-{\int }_{x_k}^{x^{\ast }}{\nabla }^{2}f(u)du \end{gathered}$$又由
$$\begin{gathered} ||{\nabla }^{2}f(x_k)(x_k-x^{\ast })-(\nabla f_k-\nabla f(x^{\ast }))|| \\ =||{\int }_0^1({\nabla }^{2}f(x_k)-{\nabla }^{2}f(x_k+t(x^{\ast }-x_k)))(x_k-x^{\ast })dt|| \\ \le {\int }_0^1||({\nabla }^{2}f(x_k)-{\nabla }^{2}f(x_k+t(x^{\ast }-x_k)))(x_k-x^{\ast })||dt \\ \le ||x_k-x^{\ast }||{\int }_0^1||({\nabla }^{2}f(x_k)-{\nabla }^{2}f(x_k+t(x^{\ast }-x_k))||dt \\ \le ||x_k-x^{\ast }|{|}^2{\int }_0^{1}Ltdt=\frac{1}{2}L||x_k-x^{\ast }|{|}^2 \end{gathered}$$所以
$$||x_{k+1}-x^{\ast }||\le \frac{1}{2}L||x_k-x^{\ast }|{|}^2||{\nabla }^2{f}_k^{-1}||$$ \qquad $！！！$当${\nabla }^{2}f(x^{\ast })$是非奇异并且${\nabla }^2{f}_k\to {\nabla }^{2}f(x^{\ast })$时，有$||{\nabla }^2{f}_k^{-1}||\le 2||{\nabla }^{2}f(x^{\ast }{)}^{-1}||$($有界$)，所以当起始点充分接近$x^{\ast }$，序列$x_k$收敛到$x^{\ast }$则$Newtown$法二阶收敛。
\qquad 由条件$\nabla f_k+{\nabla }^2{f}_k(x_{k+1}-x_k)=0$(由最优方向选择，考虑$\alpha ̸=1$是否有影响)则的:
$$\begin{gathered} ||\nabla f_{k+1}||=||\nabla f_{k+1}-\nabla f_k-{\nabla }^2{f}_k(x_{k+1}-x_k)|| \\ =||{\int }_0^1({\nabla }^{2}f(x_k+t(x_{k+1}-x_k))-{\nabla }^{2}f(x_k))(x_{k+1}-x_k)dt|| \\ \le \frac{1}{2}L||x_{k-1}-x_k|{|}^2 \\ \le \frac{1}{2}L||{\nabla }^2{f}_k^{-1}|{|}^2||\nabla f_k|{|}^2 \\ \le 2L||\nabla f_{\ast }^{-1}|{|}^2||\nabla f_k|{|}^2 \end{gathered}$$以上证明标准梯度$||\nabla f_k||$二阶收敛到零。($为什么？？，为什么不证明$$2L||\nabla f_{\ast }^{-1}|{|}^2<1$)。