数值分析与算法 (2)

微分方程

欧拉法

前向欧拉: $y_{n+1}=y_n+hf(x_n,y_n)$

后退欧拉: $y_{n+1}=y_n+hf(x_{n+1},y_{n+1})$

两步欧拉: $y_{n+1}=y_{n-1}+2hf(x_n,y_n)$

变形欧拉: $y_{n+1}=y_n+hf(x_{n+\frac{1}{2}},y_{n+\frac{1}{2}})$

改进欧拉: KaTeX parse error: \tag works only in display equations

误差分析

截断方法误差

前向欧拉: $\frac{h^2}{2}{y}^{(2)}(\eta )$

后退欧拉: $\frac{h^2}{2}{y}^{(2)}(\eta )$

两步欧拉: $\frac{h^3}{3}{y}^{(3)}(\eta )$

变形欧拉: $\frac{h^3}{24}{y}^{(3)}(\eta )$

改进欧拉: $-\frac{h^3}{12}{y}^{(3)}(\eta )$

• $O(h^{n+1})$等价于有$n$阶精度

前向欧拉累积方法误差
$${\delta }_{n+1}=(1+h\frac{\partial f}{\partial y}){\delta }_n+\frac{h^2}{2}{y}^{(2)}(\eta )\le (1+hM){\delta }_n+\frac{h^2}{2}L\le \frac{1-A^n}{1-A}B\le \frac{k}{hM}\frac{h^2}{2}L=O(h)$$
前向欧拉累积舍入误差
$${\delta }_{n+1}=(1+h\frac{\partial f}{\partial y}){\delta }_n+\frac{1}{2}\cdot 10^{-m}\le (1+hM){\delta }_n+\frac{1}{2}\cdot 10^{-m}\le \frac{1-A^n}{1-A}B\le \frac{k}{2hM}\cdot 10^{-m}=O(\frac{1}{h})$$
改进欧拉累积方法误差
$$\begin{gathered} \{\begin{array}{l}{\bar{\delta }}_{n+1}\le (1+hM){\delta }_n+\frac{L}{2}\cdot h^2\\ {\delta }_{n+1}\le {\delta }_n+\frac{h}{2}M{\delta }_n+\frac{h}{2}M{\bar{\delta }}_{n+1}+\frac{T\cdot h^3}{12}\end{array} \\ {\delta }_n\le (1+h\cdot M+\frac{h^2}{2}\cdot M^2){\delta }_{n-1}+(\frac{LM}{4}+\frac{T}{12})h^3 \\ =|\frac{1-(1+hM+\frac{h^2}{2}{M}^2{)}^n}{1-(1+hM+\frac{h^2}{2}{M}^2)}|(\frac{LM}{4}+\frac{T}{12})h^3 \\ =|\frac{1-(1+hM+\frac{h^2}{2}{M}^2{)}^n}{(hM+\frac{h^2}{2}{M}^2)}|(\frac{LM}{4}+\frac{T}{12})h^3 \end{gathered}$$
改进欧拉累积舍入误差
$$\begin{gathered} \{\begin{array}{l}{\bar{\delta }}_{n+1}\le (1+hM){\delta }_n+\frac{1}{2}\cdot 10^{-m}\\ {\delta }_{n+1}\le {\delta }_n+\frac{h}{2}M{\delta }_n+\frac{h}{2}M{\bar{\delta }}_{n+1}+\frac{1}{2}\cdot 10^{-m}\end{array} \\ {\delta }_n\le (1+h\cdot M+\frac{h^2}{2}\cdot M^2){\delta }_{n-1}+(1+\frac{hM}{2})\cdot \frac{1}{2}\cdot 10^{-m} \\ =|\frac{1-(1+hM+\frac{h^2}{2}{M}^2{)}^n}{1-(1+hM+\frac{h^2}{2}{M}^2)}|(1+\frac{hM}{2})\cdot \frac{1}{2}\cdot 10^{-m} \end{gathered}$$

龙格-库塔

二阶龙格-库塔

$y_{n+1}=y_n+h[{\lambda }_1{K}_1+{\lambda }_2{K}_2]$

$K_1=f(x_n,y_n)$, $K_2=f(x_{n+ph},y_n+ph{K}_1)$
$$\begin{gathered} y_{n+1}=y_n+h[{\lambda }_{1}f(x_n,y_n)+{\lambda }_{2}f(x_{n+ph},y_n+ph{K}_1)] \\ =y_n+h({\lambda }_1+{\lambda }_2)f(x_n,y_n)+\frac{\partial f}{\partial x}ph+\frac{\partial f}{\partial y}ph{K}_1 \\ =y_n+h({\lambda }_1+{\lambda }_2)f(x_n,y_n)+(\frac{\partial f}{\partial x}+\frac{\partial f}{\partial y}f){\lambda }_{2}p{h}^2 \end{gathered}$$
​

四阶龙格-库塔

线性多步法

显性公式
$$\begin{gathered} y_{n+1}=y_n+h\sum _{k=0}^m{\beta }_k{f}_{n-k} \\ R(f)=\frac{f^{\prime \prime }(\eta )}{2}{\int }_{x_n}^{x_n+1}{\Pi }_{k=0}^m(x-x_{n-k})dx \end{gathered}$$
隐性公式
$$\begin{gathered} y_{n+1}=y_n+h\sum _{k=0}^m{\beta }_k{f}_{n+1-k} \\ R(f)=\frac{f^{\prime \prime }(\eta )}{2}{\int }_{x_n}^{x_n+1}{\Pi }_{k=0}^m(x-x_{n+1-k})dx \end{gathered}$$
隐性公式优于显示公式 (显示预测、隐式校正)
$$\begin{gathered} m=1;R(f_{隐})=-\frac{h^3}{12}{f}^{\prime \prime }(\eta );R(f_{显})=\frac{5h^3}{12}{f}^{\prime \prime }(\eta ) \\ m=2;R(f_{隐})=-\frac{h^3}{24}{f}^{\prime \prime \prime }(\eta );R(f_{显})=\frac{9h^4}{24}{f}^{\prime \prime \prime }(\eta ) \end{gathered}$$
泰勒展开构造

例如: 令$y_{n+1}=y_n+h[a_0{f}_n+a_1{f}_{n-1}+a_2{f}_{n-2}]$

解: 把$y_{n+1},f_n,f_{n-1}...$都泰勒展开，让尽可能多的项被消掉

方程求根

迭代法

• 问题: 求解$y=f(x)$

  求解: 由于$f(x)=0$，因此构造$\varphi (x)=x\pm f(x)$，迭代求取$x_{n+1}=\varphi (x_n)$有${\lim }_{n\to \infty }{x}_n=x^{\ast }$

• 定理: 若 ${}^{1}x\in [a,b],\varphi (x)\in [a,b{]}^{2}0<L<1,|\varphi (x)-\varphi (x^{\prime })|\le L|x-x^{\prime }|\Rightarrow x_n$收敛到$x^{\ast }$

  (第二个条件等价于区间内导数恒小于一)

• 定理: 若${}^1{\varphi }^{\prime }(x)$在$x^{\ast }$附近连续 ${}^2|{\varphi }^{\prime }(x^{\ast })|<1\Rightarrow x_n$在$x^{\ast }$附近收敛到$x^{\ast }$

  方法: 令$\varphi (x)=x+af(x)$、要求$|{\varphi }^{\prime }(x^{\ast })|<1$、给$x$求$a$或给$a$求$x$

• $x_{n+1}-x^{\ast }={\varphi }^{(p)}(x^{\ast })e^p\Rightarrow$ p阶收敛 $\Rightarrow e_{n+1}=\frac{1}{p!}\cdot e_n^p$

• 事后估计(给出误差上界): $|x_k-x^{\ast }|\le \frac{1}{1-L}|x_{k+1}-x_k|$

  事前估计(给出迭代次数): $|x_k-x^{\ast }|\le \frac{L^k}{1-L}|x_1-x_0|$

牛顿法

• $\varphi (x)=x+af(x)=x-\frac{f(x)}{f^{\prime }(x)}$ 二阶收敛

• $\frac{M}{2}|e_0|<1$ $\Rightarrow$ 收敛 (证明$e^n\le \frac{2}{M}(\frac{M}{2}|e_0|{)}^{2^{n+1}}$)

• 牛顿下山法(可以不用在意初值)
  $$\begin{gathered} {\bar{x}}_{k+1}=x_k-\frac{f(x)}{f^{\prime }(x)} \\ {x}_{k+1}=\{\begin{array}{l}{\bar{x}}_{k+1},if|f({\bar{x}}_{k+1})|<|f(x_k)|\\ \lambda {\bar{x}}_{k+1}+(1-\lambda )x_k,otherwise\end{array} \end{gathered}$$

• m重根

  若$f(x)=(x-x^{\ast }{)}^{m}g(x)$则有$\varphi (x)=x-\frac{f(x)}{f^{\prime }(x)}\Rightarrow {\varphi }^{\prime }(x)=1-\frac{1}{m}$

  法一: $\varphi (x)=x-m\frac{f(x)}{f^{\prime }(x)}$

  法二: $f(x)=(x-x^{\ast })g(x)$

弦截法&抛物线法

• 弦截法
  $$\begin{gathered} x_{k+1}=x_k-\frac{f(x_k)}{f[x_{k-1}-x_k]} \\ x\in [x^{\ast }-\delta ,x^{\ast }+\delta ],|e_{n+1}|\le M|e_n||e_{n-1}|\le \frac{(M\delta {)}^n}{M},M=\frac{max{f}^{\prime \prime }(\eta )}{2\cdot min{f}^{\prime }(\xi )} \end{gathered}$$

• 抛物线法

线性方程组

高斯法

• 高斯消去: 加减法$\frac{n^3}{3}$次、乘除法$\frac{n^3}{3}$次、各阶顺序主子式不为零

• 主元素消去: 列主元素消去(交换行)、行主元素消去(交换列)、全面主元素消去

• 三角分解: $A=LU$存在且唯一 (其中L是单位下三角U是上三角阵)

三角分解

• 直接法: 欲求$Ax=b$、分解为$A=LU$、先用$Ly=b$求得$y$、再用$Ux=y$求得$x$
• 平方根法: $A$为对称阵、可分解为$A=LD{L}^T=(L{D}^{\frac{1}{2}})(D^{\frac{1}{2}}{L}^T)$、先用$y=(L{D}^{\frac{1}{2}})b$求得$y$、再用$(D^{\frac{1}{2}}{L}^T)x=y$求得$x$

范数

• 向量范数

  • $||x||\ge 0,x\ne 0$
  • $ ||cx|| \geq c||x||$
  • $||x+y||\le ||x||+||y||$

• 矩阵范数(需额外满足)

  • $||AB||\le ||A||\cdot ||B||$
  • $||Ax||\le ||A||\cdot ||x||$ , 称$||A||$为与向量范数相容的矩阵范数

• 范数

  • $||x|{|}_1={\sum }_i|x_i|$, 列范数$||A|{|}_1={\max }_j{\sum }_i|x_{ij}|$
  • $||x|{|}_2=\sqrt{{\sum }_i{x}_i^2}$, $||A||2 = \sqrt{\lambda{max}(A^TA)} $
  • $||x|{|}_{\infty }=ma{x}_i|x_i|$, 列范数$||A|{|}_{\infty }={\max }_i{\sum }_j|x_{ij}|$

• 误差分析

  • $(A+\delta A)(x+\delta x)=b\Rightarrow \frac{||\delta x||}{||x||}=||A||\cdot ||A^{-1}||\cdot \frac{||\delta A||}{||A||}$
  • $A(x+\delta x)=(b+\delta b)\Rightarrow \frac{||\delta x||}{||x||}=||A||\cdot ||A^{-1}||\cdot \frac{||\delta b||}{||b||}$
  • $(A+\delta A)(x+\delta x)=(b+\delta b)\Rightarrow \frac{||\delta x||}{||x||}=||A||\cdot ||A^{-1}||\cdot (\frac{||\delta A||}{||A||}+\frac{||\delta b||}{||b||})$

• 条件数 (条件数过大称为病态) $cond(A)=||A||\cdot ||A^{-1}||$

  • $cond(A)\ge 1$, $cond(A)=1\iff A=I$
  • $cond(A)=cond(A^{-1})$
  • $cond(cA)=cond(A)$
  • $con{d}_2(A)\ge \frac{{\lambda }_{max}}{{\lambda }_{min}}$

• 事后估计
  $$\frac{||x-x^{\ast }||}{||x^{\ast }||}=||A||\cdot ||A^{-1}||\cdot \frac{||b-Ax||}{||b||}$$

迭代法

$$Ax=b\Rightarrow (D+L+U)x=b\Rightarrow x^{(k+1)}=B{x}^{(k)}+f$$

• 雅可比法
  $$x^{(k+1)}=-D^{-1}(L+U)x^{(k)}+-D^{-1}b=Bx+f$$

• G-S法
  $$x^{(k+1)}=-(D+L{)}^{-1}U{x}^{(k)}+-(D+L{)}^{-1}b=Bx+f$$

• 定理:

  • $\rho (B)=ma{x}_i|{\lambda }_i|<1\iff$ 迭代法收敛

  • $||B|| \lt 1 \Rightarrow $ 迭代法收敛 (证明: $Bx=\lambda x\Rightarrow ||B||\ge ||\lambda ||$)

  • A是严格对角优势阵 $\Rightarrow$ 雅可比法&G-S法收敛

  • A是正定对称阵 $\Rightarrow$ G-S法收敛

逐次超松弛迭代

• SOR法: 由G-S可知、加入松弛因子$w$、整理可得

$$\begin{gathered} x^{(k+1)}=x^{(k)}+D^{-1}[b-L{x}^{(k+1)}-(D+U)x^{(k)}] \\ {x}^{(k+1)}=x^{(k)}+w{D}^{-1}[b-L{x}^{(k+1)}-(D+U)x^{(k)}] \\ {x}^{(k+1)}=(D+wL{)}^{-1}[(1-w)D-wU]x^{(k)}+w(D+wL{)}^{-1}b=Bx+f \end{gathered}$$

• 定理

  • SOR法收敛$\Rightarrow 0\le w\le 2$
  • A正定对称且$0\le w\le 2\Rightarrow$ SOR法收敛

• 误差估计

  • 事后 $||x^{(k)}-x^{\ast }||\le \frac{||B||}{1-||B||}||x^{(k)}-x^{(k-1)}||$, (给出上界)
  • 舍入 $||{\delta }_{k+1}||\le ||B||\cdot ||{\delta }_k||+\frac{1}{2}\times 10^{-m}$

第八章

特征值求取

• 引理
  $$By=\lambda y,B=P^{-1}AP,A(Py)=\lambda (Py)$$

• 幂法
  $$\begin{gathered} v_0={\alpha }_1{x}_1+...+{\alpha }_k{x}_k \\ {v}_k=A{v}_{k-1}={\alpha }_1{\lambda }_1{x}_1+...+{\alpha }_k{\lambda }_k{x}_k \\ {\lambda }_{max}=li{m}_{k\to \infty }{v}_{k+1}/v_k \end{gathered}$$

• 反幂法
  $$A^{-1}的特征值{\lambda }_{m}in$$

• QR法
  $$\begin{gathered} \{\begin{array}{l}{A}_1=A\\ A_k=QR\\ A_{k+1}=Q^T{A}_{k}Q\end{array} \\ li{m}_{k\to \infty }{a}_{ii}^{(k)}={\lambda }_i,|{\lambda }_1|\ge |{\lambda }_2|... \end{gathered}$$