数值分析(8)-最佳一致逼近多项式

整理一下数值分析的笔记~
目录：

1. 误差

2. 多项式插值与样条插值

3. 函数逼近(THIS)

4. 数值积分与数值微分

5. 线性方程组的直接解法

6. 线性方程组的迭代解法

7. 非线性方程求根

8. 特征值和特征向量的计算

9. 常微分方程初值问题的数值解

---

1. 基本概念及其理论

  设$f\in C[a,b]$，在$H_n=span${$1,x,...,x^n$}中求多项式$P_n^{\ast }(x)$使其误差$||f-P_n^{\ast }|{|}_{\infty }=ma{x}_{a\le x\le b}|f(x)-P_n^{\ast }(x)|=mi{n}_{P_n\in H_n}ma{x}_{a\le x\le b}|f(x)-P_n(x)|$,其中$H_n$表示由所有次数不超过$n$的代数多项式构成的线性空间，这就是$C[a,b]$空间中的最佳一致逼近或切比雪夫逼近问题。

定义1：设$P_n\in H_n,f(x)\in C[a,b]$，称$\Delta f(,P_n)=||f-P_n|{|}_{\infty }=ma{x}_{a\le x\le b}|f(x)-P_n(x)|$为$f(x)$与$P_n(x)$在$[a,b]$上的偏差，$\Delta (f,P_n)$的全体组成一个集合，记为{$\Delta (f,P_n)$}，下界为0.

若记集合的下确界为：$E_n=in{f}_{P_n\in H_n}${$\Delta (f,P_n)$}$=in{f}_{P_n\in H_n}ma{x}_{a\le x\le b}|f(x)-P_n(x)|$，称为$f(x)$在$[a,b]$上的最小偏差。

定义2：假定$f\in C[a,b]$若存在$P_n^{\ast }\in H_n$使得$\Delta (f,P_n^{\ast })=E_n$则称$P_n^{\ast }$是$f(x)$在$[a,b]$上的$n$次最佳一致逼近多项式或最小偏差逼近多项式，简称最佳逼近多项式。

定理1：若$f\in [a,b]$则总存在$P_n^{\ast }\in H_n$使得$||f(x)-P_n^{\ast }(x)|{|}_{\infty }=E_n$。{最佳逼近多项式的存在性定理(Borel定理)}

定义3：设$f\in [a,b],P(x)\in H_n$，若存在$x=x_0$上有$|P(x_0)-f(x_0)|=ma{x}_{a\le x\le b}|P(x)-f(x)|=\mu$，就称$x_0$为$P(x)$的偏差点，若$P(x)-f(x)=\mu$，正偏差点，否则，负偏差点。由于$P(x)-f(x)$在$[a,b]$上连续，所以至少存在一个点使得$|P(x_0)-f(x_0)|=\mu$，有引理”设$f(x)\in C[a,b],P_n^{\ast }(x)$是$f(x)$的$n$次最佳一致逼近多项式，则$f(x)-P_n^{\ast }(x)$必同时存在正负偏差点。“

定理2：$P(x)\in H_n$是$f\in C[a,b]$的最佳逼近多项式的充分必要条件是$P(x)$在$[a,b]$上至少有$n+2$个轮流正负的偏差点，即有$n+2$个点$ a \leq x_1 <x_2<…<x_{n+2} \leq b$使:

$$\begin{gathered} P(x_k)-f(x_k)=(-1{)}^k\sigma ||P(x)-f(x)|{|}_{\infty }, \\ \sigma =\pm 1 \end{gathered}$$

这样的点组称为切比雪夫交错点组。

定理3：在区间$[-1,1]$上所有最高次项系数为1的n次多项式中${\omega }_n(x)=\frac{1}{2^{n-1}}{T}_n(x)$与零的偏差最小，为$\frac{1}{2^{n-1}}$。{${\omega }_n(x)=x^n-P_{n-1}^{\ast }(x)$}

例：求$f(x)=2x^3+x^2+2x-1$在[-1,1]上的最佳2次逼近多项式。

解：所求最佳逼近多项式$P_2^{\ast }(x)$应满足$ma{x}_{-1\le x\le 1}|f(x)-P_2^{\ast }(x)|=min$，由定理3可知$f(x)-P_2^{\ast }(x)=\frac{1}{2}{T}_3(x)=2x^3-\frac{3}{2}x$时多项式$f(x)-P_2^{\ast }(x)$与零偏差最小，故$P_2^{\ast }(x)-f(x)=\frac{1}{2}{T}_3(x)=x^2+\frac{7}{2}-1$，就是$f(x)$在[-1,1]上的最佳2次逼近多项式。

2. 最佳一次逼近多项式

定理2给出了P(x)的特性，当n=1时至少存在三个点$x_1,x_2,x_3$满足定理中的条件，设最佳一次逼近多项式为$P_1(x)=a_0+a_{1}x$，推导得:

$$a_0=\frac{f(a)+f(x_2)}{2}-\frac{f(b)-f(a)}{b-a}\left(x-\frac{a+x_2}{2}\right)$$

$$a_1=\frac{f(b)-f(a)}{b-a}=f^{\prime }(x_2)$$

例：求$f(x)=\sqrt{1+x^2}在区间[0,1]$上的最佳一次逼近多项式。

解：$a_1=\sqrt{2}-1\approx 0.414$，又$f^{\prime }(x)=\frac{x}{\sqrt{1+x^2}}所以\frac{x_2}{\sqrt{1+x_2^2}}=\sqrt{2}-1$，解得$x_2=\sqrt{\frac{\sqrt{2}-1}{2}}=\approx 0.4551,f(x_2)=\sqrt{1+x_2^2}\approx 1.0986,得a_0=\frac{1+\sqrt{1+x_2^2}}{2}-a_1\frac{x_2}{2}\approx 0.955$。所以$f(x)得最佳一次逼近多项式为：P_1(x)=0.955+0.414x$。

根据例题的1结论令$x=\frac{b}{a}\le 1有\sqrt{1+(\frac{b}{a}{)}^2}=0.955+0.414(\frac{b}{a}),即\sqrt{a^2+b^2}\approx 0.955a+0.414b$

3. 最佳平方逼近的计算

$f(x)\in C[a,b]$，记其最佳平方逼近多项式为：$S^{\ast }(x)=a_0^{\ast }+a_1^{\ast }x+a_2^{\ast }{x}^2+....+a_n^{\ast }{x}^n$，$H$表示希尔伯特矩阵：

$$\left[\begin{array}{cccc}1& 1/2& ...& 1/(n+1)\\ 1/2& 1/3& ...& 1/(n+2)\\ ...& ...& ...& ...\\ 1/(n+1)& 1/(n+2)& ...& 1/(2n+1)\end{array}\right]$$

又系数$a=(a_0,a_1,...,a_n{)}^T,d=(d_0,d_1,...,d_n{)}^T,其中d_k={\int }_0^{1}f(x)x^{k}dx$，解方程：$Ha=d$得系数$a$。

令$\delta (x)=f(x)-S^{\ast }(x)$则平方误差为：

$$\begin{gathered} ||\delta (x)|{|}_2^2=(f(x)-S^{\ast }(x),f(x)-S^{\ast }(x)) \\ =(f(x),f(x))-(S^{\ast }(x),f(x)) \\ =||f(x)|{|}_2^2-\sum _{k=0}^n{a}_k^{\ast }({\varnothing }_k(x),f(x)). \end{gathered}$$

例：设$f(x)=\sqrt{1+x^2}$，求[0,1]上得一次最佳平方逼近多项式。

解：得$d_0={\int }_0^1\sqrt{1+x^2}dx=\frac{1}{2}ln(1+\sqrt{2})\approx 1.147$,$d_1={\int }_0^{1}x\sqrt{1+x^2}dx\approx 0.609$，得方程组：

$$\left[\begin{array}{cc}1& 1/2\\ 1/2& 1/3\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\end{array}\right]=\left[\begin{array}{c}1.147\\ 0.609\end{array}\right]$$

解得$a_0=0.934,a_1=0.426,故S_1^{\ast }(x)=0.934+0.426x$，平方误差：

$$\begin{gathered} ||\delta (x)|{|}_2^2=(f(x),f(x))-(S_1^{\ast }(x),f(x)) \\ ={\int }_0^1(1+x^2)dx-0.426d_1-0.934d_0=0.0026 \end{gathered}$$

最大误差：$||\delta (x)|{|}_{\infty }=ma{x}_{0\le x\le 1}|\sqrt{1+x^2}-S_1^{\ast }(x)|\approx 0.066$

但是n较大时系数矩阵高度病态。

4. 用正交函数族作最佳平方逼近

$f(x)\in C[a,b]在\phi$中得最佳平方逼近函数为：

$$S^{\ast }(x)=\sum _{k=0}^n\frac{(f(x),\phi (x))}{||\phi (x)|{|}_2^2}\phi (x)$$

其中${\phi }_k(x)$是正交函数族，均方误差：

$$\begin{gathered} ||{\delta }_n(x)|{|}_2=||f(x)-S_n^{\ast }(x)|{|}_2 \\ ={\left(||f(x)|{|}_2^2-\sum _{k=0}^n{\left[\frac{f(x),{\phi }_k(x)}{||{\phi }_k(x)|{|}_2}\right]}^2\right)}^{\frac{1}{2}} \end{gathered}$$

由此可得贝塞尔不等式：${\sum }_{k=1}^n(a_k^{\ast }||{\phi }_k(x)|{|}_2{)}^2\le ||f(x)||-2^2$,

其中$a_k^{\ast }=(f(x),\phi (x))/({\phi }_k(k),{\phi }_k(x)),k=0,1,2,...,n$

${\sum }_{k=0}^{\infty }{a}_k^{\ast }{\phi }_k(x)$称为广义傅里叶级数，$a_k^{\ast }$为广义傅里叶系数，若正交函数族可以由$1,x,x^2,...,x^n$正交化得到，有如下收敛定理：

定理4:设$f(x)\in C[a,b],S^{\ast }(x)$是f(x)的最佳平方逼近多项式，其中{${\phi }_k(x),k=0,1,...,n$}是正交多项式族，则又$li{m}_{n\to \infty }||f(x)-S_n^{\ast }(x)|{|}_2=0$，按勒让德多项式{$P_0(x),...,P_n(x)$}展开得：

$$S_n^{\ast }(x)=a_0^{\ast }{P}_0(x)=...+a_n^{\ast }{P}_n(x)$$

其中

$$\begin{gathered} a_k^{\ast }(x)=\frac{(f(x),P_k(x))}{(P_k(x),P_k(x))} \\ =\frac{2k+1}{2}{\int }_{-1}^{1}f(x)P_k(x)dx \end{gathered}$$

平方误差为：

$$||{\delta }_k(x)|{|}_2^2={\int }_{-1}^1{f}^2(x)dx-\sum _{k=0}^n\frac{2}{2k+1}{a}^{\ast 2}$$

定理5：设$f(x)\in C^2[-1,1],S_n^{\ast }$勒让德展开得，则对任意$x\in [-1,1]和所有的\epsilon >0$，当n充分大时有$|f(x)-S_n^{\ast }(x)|\le \frac{\epsilon }{\sqrt{n}}$。

定理6：在所有最高次项系数为1 的n次多项式中，勒让德多项式${\bar{P}}_n(x)$在[-1,1]上与零的 平方误差最小。

例：求$f(x)=e^x$在[-1,1]上的三次最佳平方逼近多项式。

解：先计算$(f(x),{\bar{P}}_k(x))(勒让德多项式),k=0,1,2,3$，有：

$$\begin{gathered} (f(x),P_0(x))={\int }_{-1}^1{e}^{x}dx=\approx 2.3504 \\ (f(x),P_1(x))={\int }_{-1}^{1}x{e}^{x}dx=\approx 0.7358 \\ (f(x),P_2(x))={\int }_{-1}^1(\frac{3}{2}{x}^2-\frac{1}{2})e^{x}dx=\approx 0.1431 \\ (f(x),P_3(x))={\int }_{-1}^1(\frac{5}{2}{x}^3-\frac{3}{2}x)e^{x}dx=\approx 0.02013 \end{gathered}$$

可知：

$$\begin{gathered} a_0^{\ast }=(f(x),P_0(x))/2=1.1752 \\ {a}_1^{\ast }=3(f(x),P_1(x))/2=1.1036 \\ {a}_2^{\ast }=5(f(x),P_2(x))/2=0.3578 \\ {a}_3^{\ast }=7(f(x),P_3(x))/2=0.07046 \end{gathered}$$

由此知三次最佳平方逼近多项式：

$S^{\ast }(x)=0.9963+0.9979x+0.5367x^2+0.1761x^3$，均方误差为：$||{\delta }_n(x)|{|}_2=||e^x-S_3^{\ast }(x)|{|}_2=\sqrt{{\int }_{-1}^1{e}^{2x}-{\sum }_{k=0}^3\frac{2}{2k+1}{a}_k^{\ast 2}}\le 0.0084$

最大误差$||{\delta }_n(x)|{|}_2=||e^x-S_3^{\ast }(x)|{|}_{\infty }\le 0.0112$。

---

{持续更新}
欢迎扫描二维码关注微信公众号 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]