数值分析复习笔记-第七章-非线性方程求根

Chapter7 非线性方程求根

7.1 前言

1. 本质：对一些n次代数多项式or超越方程，它们的根是难以通过解析方法求得，因此需采取数值方法
2. 主要有：
   • 二分法
   • 不动点迭代法：迭代加速
   • 牛顿迭代法：牛顿法、割线法

7.2 二分法

1. 数学基础：零点定理
2. 基本步骤：
   • 确定初始区间[a,b]=>satisfy f(a)f(b)<0,
   • 记$x_0=\frac{a+b}{2}$ => calculate $f(x_0)$
   • judge:
     • $f(x_0)==0$ ==> out of loop
     • $f(a)f(x_0)<0$ ==> new $x_0\in [a,x_0]$
     • $f(x_0)f(b)<0$ ==> new $x_0\in [x_0,b]$
3. disadvantage:
   • 只用了函数值的正负号，而非函数值的大小 => 收敛速度不快
   • 二分法无法求复根

7.3 不动点迭代

7.3.1 基本概念

1. 概念：类似于$x^{(k+1)}=B\cdot x^{(k)}+g$，将非线性方程转换为$x=\varphi (x)$，从而产生迭代算法$x_{k+1}=\varphi (x_k)$
2. 基本步骤：
   • 取初值$x_0$
   • 迭代$x_{k+1}=\varphi (x_k)$
   • when $|x_{k+1}-x_k|<\epsilon$，终止迭代
3. 核心：
   • 构造$x=\varphi (x)$
   • 判断是否收敛

7.3.2 收敛性

1. 定理：
   设迭代函数 $\phi (\mathbf{x})$ 在 $[\mathbf{a},\mathbf{b}]$ 上连续, 且满足:
   (a) 当 $x\in [a,b]$ 时, $a\le \phi (x)\le b$;
   (b) 存在一正数 $\mathbf{L}$, 满足 $0<\mathbf{L}<1$, 且 $\forall \mathbf{x}\in [\mathbf{a},\mathbf{b}]$, 有
   $$\left|{\phi }^{\prime }(x)\right|\le L$$
    则:
      (1) 方程$\mathbf{x}=\phi (\mathbf{x})$在 [$\mathbf{a},\mathbf{b}$] 内有唯一解 ${\mathbf{x}}^{\ast }$，且对于任意初值 $x_0\in [a,b]$，迭代法$x_{k+1}=\phi \left(x_k\right)$ 均收敛于 $x^{\ast }$
      (2) 序列$x_k$的收敛速度有估计
   $$\left|{\mathbf{x}}_k-\mathbf{x}\ast \right|\le \frac{L}{1-L}\left|{\mathbf{x}}_k-{\mathbf{x}}_{k-1}\right|$$
   $$\left|{\mathbf{x}}_k-\mathbf{x}\ast \right|\le \frac{L^k}{1-L}\left|x_1-x_0\right|$$
2. 证明：

(1.1) 存在性：构造$g(x)=x-\varphi (x)$，通过零点定理和条件(a)证明$g(a)g(b)<0$
(1.2) 唯一性：反证法，假设有一个新真值$y^{\ast }$，由拉格朗日微分中值定理->$|x^{\ast }-y^{\ast }|=|\varphi (x^{\ast })-\varphi (y^{\ast })|=\varphi (\xi {)}^{\prime }|x^{\ast }-y^{\ast }|$，显然，$|x^{\ast }-y^{\ast }|=\varphi (\xi {)}^{\prime }|x^{\ast }-y^{\ast }|$只有当$\varphi (\xi {)}^{\prime }==1$时取等号，与条件(b)不符
(1.3) 收敛性：$|x_k-x^{\ast }|=|\varphi (x_{k-1})-\varphi (x^{\ast })|=\varphi (\xi {)}^{\prime }|x_{k-1}-x^{\ast }|\le L|x_k-x^{\ast }|$递推，$|x_k-x^{\ast }|\le L^k|x_0-x^{\ast }|\to 0$，(L属于0,1；而x0和x*都是定值，所以趋近于0)
(2.1) 第一个等式：通过$|x_k-x^{\ast }|=|x_k-x_{k+1}+x_{k+1}-x^{\ast }|=|x_k-x_{k+1}+\varphi (x_k)-\varphi (x^{\ast })|=|x_k-x_{k+1}+\varphi (\xi {)}^{\prime }(x_k-x^{\ast })|\le |x_k-x_{k+1}|+L|x_k-x^{\ast }|$，从而有$|x_k-x^{\ast }|\le |x_k-x_{k+1}|+L|x_k-x^{\ast }|$，推出$\left|{\mathbf{x}}_k-\mathbf{x}\ast \right|\le \frac{L}{1-L}\left|{\mathbf{x}}_k-{\mathbf{x}}_{k-1}\right|$
(2.2) 第二个等式：由第一个等式递推即可

3. 特点：L越小收敛越快，但是能满足这种条件的不动点函数实在是太困难了，但是如果将这个不动点收缩到一个邻域范围内，这样初值$x_0$只需要取到领域范围内的值即可收敛
   • 局部收敛：这种在解的某个小领域内收敛的性质
   • 全局收敛：没有这种要求，或者可以清楚地给出这个邻域区间范围的表达即为全局收敛
   • 做法：先用二分法缩小根范围，再用局部收敛法定解

7.3.3 一道例题

1. 提问：将$x=tanx$化为合适的迭代格式，并求解x=4.5附近的根
2. 回答：

由不动点迭代收敛定理：
① 确定根的范围：$f(x)=x-tan(x)\to f^{\prime }(x)=-ta{n}^2(x)<0$，由零点定理，根范围在[4.4,4.5]
② 判断tanx的导数是否小于1，显然$|f^{\prime }(x)=-ta{n}^2(x)|>>1$，因此，将原函数转换为$arctan(x)+\pi =x$
通过以下matlab代码求解：

clc,clear all
x1=4.5;
x2=g(x1);
while abs(x2-x1)>eps
    x1=x2;
    x2=g(x1);
end
x2

function y=g(x)
y=atan(x)+pi;
end

7.4 迭代加速

1. 收敛阶：
   记序列${x_k}_{k=0}^{\infty }$收敛于$x^{\ast }$，记迭代误差 $e_k=x^{\ast }-x_k$，若：
   $$\underset{k\to \infty }{\lim }\frac{\left|e_{k+1}\right|}{{\left|e_k\right|}^p}=C$$
   称为p阶收敛

p=1: 线性收敛；p=2：平方收敛
阶数越高，收敛越快
$e_{k+1}=c_i{e}_k,e_k=0.1\to p1=c_{1}0.1>>p2=c_{2}0.01$

2. 收敛速度定理
   设 $x\ast$ 是方程 $x=\phi (x)$ 的根， $\phi (x)$ 在 $x^{\ast }$ 邻近有连续的二阶导数，且${\phi }^{\prime }\left(x^{\ast }\right)\le 1$
   (1) 当 ${\phi }^{\prime }\left(x^{\ast }\right)\ne 0$ 时, 迭代格式 $x_{k+1}=\phi \left(x_k\right)$ 线性收敛到 $x^{\ast }$;
   (2) 当 ${\phi }^{\prime }\left(x^{\ast }\right)=0,{\phi }^{\prime \prime }\left(x^{\ast }\right)\ne 0$ 时, 迭代格式 $x_{k+1}=\phi \left(x_k\right)$ 平方收敛到 $x^{\ast }$;
3. 证明：

(1) 微分中值定理
$$\frac{\left|e_{k+1}\right|}{\left|e_k\right|}=\frac{\left|x_{k+1}-x^{\ast }\right|}{\left|x_k-x^{\ast }\right|}=li{m}_{k\to 0}\frac{|\varphi (\xi {)}^{\prime }||x_k-x^{\ast }|}{|x_k-x^{\ast }|}=\varphi (\xi {)}^{\prime }\ne 0$$
(2) 泰勒二阶展开
$$\frac{\left|e_{k+1}\right|}{{\left|e_k\right|}^2}=\frac{\left|x_{k+1}-x^{\ast }\right|}{{\left|x_k-x^{\ast }\right|}^2}=\frac{|(\phi \left(x^{\ast }\right)+{\phi }^{\prime }\left(x^{\ast }\right)\left(x_k-x^{\ast }\right)+\frac{{\phi }^{\prime }(\epsilon )}{2!}{\left(x_k-x^{\ast }\right)}^2|}{{\left|x_k-x^{\ast }\right|}^2}$$

7.5 牛顿迭代

7.5.1 基本概念

1. 推导：由泰勒二阶展开公式:
   $$f(x)=f\left(x_k\right)+f^{\prime }\left(x_k\right)\left(x-x_k\right)+\frac{f^{\prime }\left(x_k\right)}{2!}{\left(x-x_k\right)}^2+\cdots$$
   $$\begin{gathered} \downarrow \\ f(x)=0 \\ \downarrow \\ f\left(x_k\right)+f^{\prime }\left(x_k\right)\left(x-x_k\right)=0 \\ \downarrow \\ \downarrow \\ {x}_{k+1}=x_k-\frac{f\left(x_k\right)}{f^{\prime }\left(x_k\right)} \end{gathered}$$
2. 例题：求解$f(x)=3\ast x^3-8\ast x^2-8\ast x-11$的某个近似根

由高中知识，判断该方程仅有一个解，解的范围在[3,4]
代码如下：

clc,clear all
x1=3.5;
x2=g(x1);
while abs(x2-x1)>eps
    x1=x2;
    x2=g(x1);
end
x2

function y=g(x)
y=x-(3*(x^3)-8*(x^2)-8*x-11)./(9*(x^2)-16*x-8);
end

3. 特点
   • 至少平方收敛
   • 局部收敛

7.5.3 牛顿下山法

1. 特点：在$\frac{f\left(x_k\right)}{f^{\prime }\left(x_k\right)}$之前增加一个校正因子$\lambda$，使每次牛顿迭代的f(x)单调递减
2. 基本步骤：
   • 预估
   • 校正
3. 算法：
   (1) 给定初值$x_0$
   (2) 若$|f(x_k)|\le \epsilon$，则停止迭代
   (3) 计算$d_k=\frac{f\left(x_k\right)}{f^{\prime }\left(x_k\right)}$，并取$\lambda =1$
   (4) 若$|f(x_k+\lambda d_k|<|f(x_k)|$，则$x_{k+1}=x_k+\lambda d_k$，转(5)；否则，$\lambda =\frac{1}{2}\lambda$，当$\lambda <\epsilon$，停止迭代，下山失败。
   (5) k=k+1，转(2)

function [x,it]=newtonfg(x0,f,g,maxit,tol)
x1=x0;
d=-feval(f,x0)./feval(g,x0);
x2=x1+d;
it=0;
while abs(x1-x2)>=tol
    it=it+1;
    if it>=maxit
        break;
    end
    x1=x2;d=-feval(f,x1)./feval(g,x1);fx=feval(f,x1);
    isdone=0;lambda=1;
    while isdone==0
    xn=x1+lambda*d;
    fn=feval(f,xn);
    if abs(fn)<=abs(fx)
        isdone=1;
    else
        lambda=0.5*lambda;
        if lambda<=tol
            disp("misson fail");
            break;
        end
    end
    x2=xn;
    end
end
x=x2;

7.5.4 割线法

1. 本质：用两点割线计算$f^{\prime }(x_k)=\frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}}$
2. 特点：
   • 不算导数，但是初始值要两个
   • 收敛阶级：1.618（不证明）<牛顿下山法