数值分析复习（二）——非线性方程的求解

二、非线性方程的求解

概述

求根的方法一般分为 2 步：

• 根的搜索，分析方程存在多少个实根，找出每个根所在的区间
  • 图解法：通过画函数的图形，了解根的分布情况
  • 解析法：用微积分基本理论来分析
  • 定步长搜索法：利用连续函数的介值定理
• 根的精确化，求满足给定精度的根的近似值

二分法

• 思想：依据连续函数的介值定理，反复将区间分半，在足够小的区间内，方程有且仅有一根
• 按此方法得到一系列区间 $[a_0,b_0]\supset [a_1,b_1]\supset [a_2,b_2]\supset \cdots \supset [a_k,b_k]\supset \cdots$，而且有
  • $b_k-a_k=\frac{1}{2}(b_{k-1}-a_{k-1})=\frac{1}{2^k}(b-a)$
  • $f(a_k)f(b_k)<0$
• 对于给定精度 $ϵ$，若取 $k$ 使得

$$\frac{1}{2^{k+1}}(b-a)\le ϵ$$

则有 $|x^{\ast }-x_k|\le ϵ$

简单迭代法

• 思想：通过递推产生一个序列，使其极限为方程的根（逐次逼近）
• 设方程 $f(x)=0$，在 $[a,b]$ 内有一根 $x^{\ast }$，将方程改写为 $x=\phi (x)$，任取 $x_0\in [a,b]$ 得到递推公式 $x_{k+1}=\phi (x_k),k=0,1,2,...$，从而得到序列 {xk}k=0∞\{ x_k \}_{k=0}^{\infty}{xk​}k=0∞​
• 📖若任取 $x_0\in [a,b]$ 迭代序列 {xk}k=0∞\{ x_k \}_{k=0}^{\infty}{xk​}k=0∞​ 收敛，则称迭代格式 $x_{k+1}=\phi (x_k)$ 收敛，否则称迭代格式发散
• 称 $e_k=x^{\ast }-x_k$ 为第 $k$ 次迭代误差
• 若 $x^{\ast }=\phi (x^{\ast })$，$x^{\ast }$ 称为不动点

迭代法的收敛性

• 📖设 $\phi (x)$ 在 $[a,b]$ 内存在一阶连续导数，且满足：

  • 当 $x\in [a,b]$ 时，$\phi (x)\in [a,b]\Rightarrow$ 函数值不超过范围
  • 存在正常数 $L<1$，使得 ${\max }_{a\le x\le b}|{\phi }^{{}^{\prime }}(x)|\le L<1\Rightarrow$ 导数值不超过范围

  则有以下 2 个结论（部分内容要求证明）

  • $x=\phi (x)$ 在 $[a,b]$ 上有唯一实根，记为 $x^{\ast }$
  • 对任意初值 $x_0\in [a,b]$，迭代格式 $x_{k+1}=\phi (x_k)$ 收敛，且 ${\lim }_{k\to \infty }{x}_k=x^{\ast }$。且有：

$$\begin{array}{rlrl}& |x^{\ast }-x_k|\le \frac{L}{1-L}|x_k-x_{k-1}|,k=1,2,3,...& & (3.4)\\ & |x^{\ast }-x_k|\le \frac{L^k}{1-L}|x_1-x_0|,k=1,2,3,...& & (3.5)\\ & \underset{k\to \infty }{\lim }\frac{x^{\ast }-x_{k+1}}{x^{\ast }-x_k}={\phi }^{{}^{\prime }}(x^{\ast })& & (3.6)\end{array}$$

• 😄设方程 $x=\phi (x)$ 在区间 $[a,b]$ 上有根，且 ${\min }_{a\le x\le b}|{\phi }^{{}^{\prime }}(x)|>1$，则对任意 $x_0\in [a,b]$，且 $x_0\ne x^{\ast }$，迭代格式发散
• 对于方程 $x=\phi (x)$，若在 $x^{\ast }$ 的某个邻域 S={x∣∣x−x∗∣≤δ}S = \{ x| |x-x^*| \le \delta \}S={x∣∣x−x∗∣≤δ} 内，对任意初值 $x_0\in S$ 迭代格式 $x_{k+1}=\phi (x_k)$ 都收敛，则称迭代法在 $x^{\ast }$ 的附近局部收敛
• 📖设方程 $x=\phi (x)$ 有根 $x^{\ast }$，且在 $x^{\ast }$ 的某个邻域 S={x∣∣x−x∗∣≤δ}S = \{ x| |x-x^*| \le \delta \}S={x∣∣x−x∗∣≤δ} 内 $\phi (x)$ 一阶连续可导，则：
  • 当 $|{\phi }^{{}^{\prime }}(x^{\ast })|<1$ 时，迭代格式局部收敛
  • 当 $|{\phi }^{{}^{\prime }}(x^{\ast })|>1$ 时，迭代格式发散
• 设序列 {xk}k=0∞\{ x_k \}_{k=0}^{\infty}{xk​}k=0∞​ 收敛于 $x^{\ast }$，并记 $e_k=x^{\ast }-x_k$。如果存在常数 $p\ge 1$ 及非零常数 $C$，使得 ${\lim }_{k\to \infty }\frac{e_{k+1}}{e_k^p}=C$，则称该序列是 $p$ 阶收敛的
  • $p$ 越大，收敛越快
  • 当 $p=1$ 且 $0<|C|<1$ 时，称为线性收敛
  • 当 $p>1$ 称超线性收敛，特别当 $p=2$ 时，称平方收敛
  • 若迭代序列是 $p$ 阶收敛的，则称对应的迭代格式是 $p$ 阶收敛的
• 😄设 $\phi (x)$ 在 $x^{\ast }$ 附近的某个邻域内有 $p(p\ge 1)\text{p(p≥1)}p(p\ge 1)$ 连续导数，且 ${\phi }^{(k)}(x^{\ast })=0,k=1,2,..,p-1;{\phi }^{(p)}(x^{\ast })\ne 0\text{φ(p)(x∗)=0}{\phi }^{(p)}(x^{\ast })\ne 0\text{φ(k)(x∗)=0,k=1,2,..,p−1; φ(p)(x∗)=0φ(p)(x∗)=0φ(p)(x∗)=0}{\phi }^{(k)}(x^{\ast })=0,k=1,2,..,p-1;{\phi }^{(p)}(x^{\ast })\ne 0\text{φ(p)(x∗)=0}{\phi }^{(p)}(x^{\ast })\ne 0$，则迭代格式在 $x^{\ast }$ 附近是 $p\text{p}p$ 阶局部收敛的，且有:

$$\underset{k\to \infty }{\lim }\frac{x^{\ast }-x_{k+1}}{(x^{\ast }-x_k{)}^p}=(-1{)}^{p-1}\frac{{\phi }^{(p)}(x^{\ast })}{p!}$$

注：若 $p=1$，要求 $|{\phi }^{{}^{\prime }}(x^{\ast })|<1$

迭代法的加速（Aitken）

设方程 $x=\phi (x)$ 有根 $x^{\ast }$，且在 $x^{\ast }$ 附近 $\phi (x)$ 有 2 阶连续导数，若迭代格式 $x_{k+1}=\phi (x_k)$ 线性收敛，则迭代格式 $x_{k+1}=\Phi (x_k)$ 平方收敛，其中
$$\Phi (x)=\frac{x\phi (\phi (x))-{\phi }^2(x)}{x-2\phi (x)+\phi (\phi (x))}$$

Newton 迭代格式

📖将 $f(x)$ 在 $x_k$ 处 Taylor 展开，整理后可得 Newton 迭代格式
$$\begin{array}{rl}& f(x)=0\Rightarrow f(x)\approx f(x_k)+f^{{}^{\prime }}(x_k)(x-x_k)\\ & f(x_k)+f^{{}^{\prime }}(x_k)(x-x_k)=0\Downarrow \\ & x_{k+1}=x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)},k=0,1,...\text{xk+1=xk−f′(xk)f(xk), k=0,1,...}{x}_{k+1}=x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)},k=0,1,...\end{array}$$

• 设 $x^{\ast }$ 是方程 $f(x)=0$ 的 $m\text{m}m$ 重根，则
  • 当 $m=1$，即 $x^{\ast }$ 为方程单根时，Newton 迭代二阶局部收敛
  • 当 $m\ge 2$ 时，Newton 迭代一阶（线性）局部收敛

😄证明：
$$\begin{array}{rl}f(x)& =(x-x^{\ast }{)}^{m}g(x),g(x^{\ast })\ne 0\\ f^{{}^{\prime }}(x)& =(x-x^{\ast }{)}^{m-1}(mg(x)+(x-x^{\ast })g^{{}^{\prime }}(x))\\ \phi (x)& =x-\frac{(x-x^{\ast })g(x)}{mg(x)+(x-x^{\ast })g^{{}^{\prime }}(x)},\phi (x^{\ast })=x^{\ast }\\ {\phi }^{{}^{\prime }}(x^{\ast })& =\underset{x\to x^{\ast }}{\lim }\frac{\phi (x)-\phi (x^{\ast })}{x-x^{\ast }}\\ & =\underset{x\to x^{\ast }}{\lim }\frac{1}{x-x^{\ast }}(x-\frac{(x-x^{\ast })g(x)}{mg(x)+(x-x^{\ast })g^{{}^{\prime }}(x)}-x^{\ast })\\ & =1-\frac{1}{m}\end{array}$$
所以，当 $m=1$ 时，${\phi }^{{}^{\prime }}(x^{\ast })=0\Rightarrow$ Newton 迭代至少二阶局部收敛；当 $m\ge 2$ 时，$|{\phi }^{{}^{\prime }}(x^{\ast })|<1\Rightarrow$ 至少一阶局部收敛

重根处理

• 😄若 $m$ 重根的 $m\text{m}m$ 已知，迭代可改为

$$x_{k+1}=x_k-m\frac{f(x_k)}{f^{{}^{\prime }}(x_k)},k=0,1,...$$

• 😄若 $m\text{m}m$ 未知，记 $u(x)=\frac{f(x)}{f^{{}^{\prime }}(x)}$，此时 $x^{\ast }$ 是方程 $u(x)=0$ 的单根，迭代格式如下

$$x_{k+1}=x_k-\frac{u(x_k)}{u^{{}^{\prime }}(x_k)},k=0,1,...$$

Newton 迭代的大范围收敛性

😄设函数 $f(x)$ 在区间 $[a,b]$ 内 2 阶连续可导，且满足：

• $f(a)f(b)<0\Rightarrow$ 存在根
• 当 $x\in [a,b]$ 时，$f^{{}^{\prime }}(x)\ne 0\Rightarrow$ 和下面 $f^{{}^{\prime \prime }}(x)$ 结合起来知道 $f(x)$ 单调递增或单调递减
• 当 $x\in (a,b)$ 时，$f^{{}^{\prime \prime }}(x)$ 保号 $\Rightarrow$ $f^{{}^{\prime }}(x)$ 单调
• $a-\frac{f(a)}{f^{{}^{\prime }}(a)}\le b$，$b-\frac{f(b)}{f^{{}^{\prime }}(b)}\ge a$ $\Rightarrow$ 值在一定范围内

则对 $\forall x_0\in [a,b]$，Newton 迭代格式
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)},k=0,1,...$$
收敛到方程 $f(x)=0$ 在 $[a,b]$ 内的唯一实根

Newton 法的变形

• 😄割线法

$$x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_{k-1})}(x_k-x_{k-1}),k=1,2,...$$

• 拟 Newton 法

$$x_{k+1}=x_k-\frac{f^2(x_k)}{f(x_k)-f(x_k-f(x_k))},k=0,1,...$$

• Steffenson 法

$$x_{k+1}=x_k-\frac{f^2(x_k)}{f(x_k+f(x_k))-f(x_k)},k=0,1,...$$