8.3 搜索一组好基

一、基的选择

本节是很重要的一节。前面的章节通过解释基向量的思想为本节做了准备，第 6 章介绍了特征向量 $\mathbf{x}$，第 7 章求得了奇异向量 $\mathbf{v}$ 和 $\mathbf{u}$. 这两种向量组是基向量的最佳选择，但是其它的选择也很有价值。
这里先回顾一下 $8.2$ 节纯代数的结果，然后介绍好的基。输入基向量构成 $B_{\text{in}}$ 的列向量，输出基向量构成 $B_{\text{out}}$ 的列向量。$B_{\text{in}}$ 和 $B_{\text{out}}$ 总是可逆的，这是因为基向量组线性无关！
纯代数\kern 7pt 如果 $A$ 是线性变换 $T$ 在标准正交基下的矩阵，则$$B_{\text{out}}^{-1}A{B}_{\text{in}}是新基下的矩阵(\mathrm{8.3.1})$$标准正交基向量是单位矩阵的列向量：$B_{\text{in}}=I_{\text{n×n}}，B_{\text{out}}=I_{\text{m×m}}$. 现在我们选择特殊的基使得变换矩阵比 $A$ 更简洁。当 $B_{\text{in}}=B_{\text{out}}=B$ 时，方阵 $B^{-1}AB$ 和 $A$ 相似。
应用代数\kern 7pt 我们在应用时都要选择一组好基。这里介绍向量空间中四个重要的选择以及函数空间中的三个选择。特征向量和奇异向量给出对角矩阵 $\Lambda$ 和 $\Sigma$，还有新的若尔当形（Jordan form）.
1.$B_{\text{in}}=B_{\text{out}}=X$，其中 $X$ 是特征向量矩阵，则 $X^{-1}AX=\Lambda$，$\Lambda$ 是特征值矩阵，它是对角线元素为特征值的对角矩阵。
这种选择要求 $A$ 是方阵且有 $n$ 个线性无关的特征向量，“$A$ 一定要可对角化”。当 $B_{\text{in}}=B_{\text{out}}$ 是特征向量矩阵 $X$ 时，我们得到的变换矩阵是 $\Lambda$.
2.$B_{\text{in}}=V，B_{\text{out}}=U：$是 $A$ 的奇异值向量。 则 $U^{-1}AV=\Sigma$，其中 $\Sigma$ 是对角矩阵。
当 $B_{\text{in}}$ 和 $B_{\text{out}}$ 是奇异值向量矩阵 $V$ 和 $U$ 时，$\Sigma$ 是奇异值矩阵（对角元素是 ${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r$）. $B_{\text{in}}$ 和 $B_{\text{out}}$ 的列向量是 $A^{T}A$ 和 $A{A}^T$ 正交特征向量。此时 $A=U\Sigma V^T$ 给出 $\Sigma =U^{-1}AV$.
3.$B_{\text{in}}=B_{\text{out}}$ 由 $A$ 的广义特征向量（generalized eigenvectors）构成. 则 $B^{-1}AB=J$，其中 $J$ 是若儿当形。
4.$B_{\text{in}}=B_{\text{out}}=F$，其中 $F$ 是傅里叶矩阵（Fourier matrix），则 $F\mathbf{x}$ 是 $\mathbf{x}$ 的离散傅里叶变换（Discrete Fourier Transform）。

二、若尔当形

若 $B_{\text{in}}=B_{\text{out}}$ 且等于由 $A$ 的广义特征向量构成的 $B$，则 $B^{-1}AB$ 为若尔当形 $J$.
$A$ 是一个 $n$ 阶方阵，但是它可能只有 $s$ 个线性无关的特征向量.（如果 $s=n$ 则 $B=X$，而 $J=\Lambda$.）当 $s<n$ 时，若尔当构造了 $n-s$ 个额外的 “广义” 特征向量，其目的是使得若尔当形 $J$ 尽可能对角化：
$\text{i})$ 沿着 $J$ 的对角线有 $s$ 个方块。
$\text{ii})$ 每个方块对应一个特征值 $\lambda$，一个特征向量，并且对角线正上方的元素为 $1$.
最好的情形就是有 $n$ 个 $1\times 1$ 的块，每个都包含一个特征值，则此时 $J$ 就是对角的特征值矩阵 $\Lambda$.

【例1】下面的这个若尔当矩阵 $J$ 的特征值是 $\lambda =2,2,3,3$（两个双重特征值）。$J$ 是上三角矩阵，这些特征值都沿着对角线分布，特征值 $\lambda =2$ 对应两个线性无关的特征向量，但是 $\lambda =3$ 只对应一个特征向量。这对所有与 $J$ 相似的矩阵 $C=BJ{B}^{-1}$ 都成立。$$若尔当矩阵J=\left[\begin{array}{ccc}2& & \\ & 2& \\ & & \left[\begin{array}{cc}3& 1\\ 0& 3\end{array}\right]\end{array}\right]\begin{array}{l}两个1\times 1的块\\ 一个2\times 2的块\\ 三个特征值\\ 特征值是2,2,3,3\end{array}$$$\lambda =2$ 对应的两个特征向量分别是 ${\mathbf{x}}_1=(1,0,0,0)$ 和 ${\mathbf{x}}_2=(0,1,0,0)$，$\lambda =3$ 对应的一个特征向量是 ${\mathbf{x}}_3=(0,0,1,0)$，这个若尔当矩阵的 “广义特征向量” 是第四个标准基向量 ${\mathbf{x}}_4=(0,0,0,1)$. $J$ 的特征向量（标准和广义的）恰好就是单位矩阵 $I$ 的列向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3,{\mathbf{x}}_4$.
注意 $(J-3I){\mathbf{x}}_4={\mathbf{x}}_3$，广义特征向量 ${\mathbf{x}}_4$ 关联了标准特征向量 ${\mathbf{x}}_3$. 如果是真正的特征向量 ${\mathbf{x}}_4$ 则应满足 $(J-3I){\mathbf{x}}_4=0$，但是这里并不存在。
与 $J$ 相似的所有矩阵 $C=BJ{B}^{-1}$ 都有三个真正的特征向量 ${\mathbf{b}}_1,{\mathbf{b}}_2,{\mathbf{b}}_3$，它们是 $B$ 的前三列，$B$ 的第四列是 $C$ 的广义特征向量 ${\mathbf{b}}_4$，它与 ${\mathbf{b}}_3$ 关联。这里使用 $B{\mathbf{x}}_3={\mathbf{b}}_3$ 和 $B{\mathbf{x}}_4={\mathbf{b}}_4$ 快速证明：$B$ 的第四列 ${\mathbf{b}}_4$ 和 ${\mathbf{b}}_3$ 的联系由 $(C-3I){\mathbf{b}}_4={\mathbf{b}}_3$ 给出：$$(BJ{B}^{-1}-3I){\mathbf{b}}_4=BJ{\mathbf{x}}_4-3B{\mathbf{x}}_4=B(J-3I){\mathbf{x}}_4=B{\mathbf{x}}_3={\mathbf{b}}_3(\mathrm{8.3.2})$$若尔当定理（Jordan’s theorem）表明，每个方阵 $A$ 都对应一组完整的特征向量和广义特征向量，当这些向量作为 $B$ 的列向量时，矩阵 $B^{-1}AB=J$ 就是若尔当形。基于例 1 可以给出 $J$ 的一个描述。
对于任意的方阵 $A$，我们希望找到一个 $B$ 使得 $B^{-1}AB$ 尽可能对角化。当 $A$ 有全部 $n$ 个线性无关的特征向量时，它们构成 $B$ 的各列，此时 $B=X$，矩阵 $X^{-1}AX$ 是对角矩阵，这就是当 $A$ 可以对角化时的若尔当形（Jordan form）. 一般情况下，特征向量不足时将无法得到对角矩阵 $\Lambda$.
假设 $A$ 有 $s$ 个线性无关的特征向量，其中 $s<n$，则它相似于一个有 $s$ 个子块的若尔当矩阵。每个子块的对角元素均为特征值，且它正上方的相邻元素均为 $1$. 这个子块恰好对应 $A$ 的一个特征向量，$B$ 既包含标准的特征向量，也包含广义特征向量。
若有 $n$ 个特征向量时，则所有 $n$ 个子块都是 $1\times 1$ 的，此时 $J=\Lambda$.

（若尔当形） 如果 $A$ 有 $s$ 个线性无关的特征向量，则它相似于对角线上有 $s$ 个若尔当块 $J_1,J_2,\cdots ,J_s$ 的矩阵 $J$，存在矩阵 $B$ 可以将 $A$ 变为若尔当形：$$若尔当形\text{Jordan form}{B}^{-1}AB=\left[\begin{array}{cccc}{J}_1& & & \\ & J_2& & \\ & & \ddots & \\ & & & J_s\end{array}\right]=J(\mathrm{8.3.3})$$每个若尔当块 $J_i$ 有一个特征值 ${\lambda }_i$ 和一个特征向量，并且对角线正上方的元素是 $1$：$$若尔当块\text{Jordan block}{J}_i=\left[\begin{array}{cccc}{\lambda }_i& 1& & \\ & \ddots & \ddots & \\ & & \ddots & 1\\ & & & {\lambda }_i\end{array}\right](\mathrm{8.3.4})$$当且仅当矩阵有相同的若尔当形 $J$ 时，它们相似。

每缺少一个特征向量，若尔当形 $J$ 就有一个对角线上方的 $1$（它与特征值相邻），在每一族相似矩阵里，我们取一个代表 $J$，它最接近于对角矩阵（或者就是对角矩阵呢），我们可以使用若尔当形快速求解 $\frac{\text{d}\mathbf{u}}{\text{d}t}=J\mathbf{u}$ 并且求矩阵的幂 $J^k$，该族里的其它矩阵都有 $BJ{B}^{-1}$ 的形式。
对于任意的方阵 $A=BJ{B}^{-1}$，我们可以使用若尔当形求解微分方程 $\frac{\text{d}\mathbf{u}}{\text{d}t}=A\mathbf{u}$，则解 $e^{At}\mathbf{u}(0)$ 变为 $\mathbf{u}(t)=B{e}^{Jt}{B}^{-1}\mathbf{u}(0)$，$J$ 是三角形矩阵，它的矩阵指数 $e^{Jt}$ 包含有 $e^{\lambda t}$ 乘幂函数 $1,t,\cdots ,t^{s-1}$.
原因： 一个 $s\times s$ 的若尔当块记为：$$J=\left[\begin{array}{cccc}\lambda & 1& & \\ & \ddots & \ddots & \\ & & \ddots & 1\\ & & & \lambda \end{array}\right]$$该若尔当块可以分解为 $J=\lambda I+N$，其中 $I$ 是 $s\times s$ 的单位矩阵，$N$ 是零幂矩阵（nilpotent matrix），$$N=\left[\begin{array}{cccc}0& 1& & \\ & \ddots & \ddots & \\ & & \ddots & 1\\ & & & 0\end{array}\right]$$$N$ 满足 $N^s=0$，当 $k<N$ 时，$N^k\ne 0$.
由于 $(\lambda I)N=N(\lambda I)$，所以矩阵指数可以分解为$$e^{Jt}=e^{(\lambda I+N)t}=e^{\lambda It}{e}^{Nt}=e^{\lambda t}{e}^{Nt}$$而由于 $N^s=0$，所以有 $$e^{Nt}=I+Nt+\frac{(Nt{)}^2}{2!}+\cdots +\frac{(Nt{)}^{s-1}}{(s-1)!}$$所以 $$e^{Jt}=e^{\lambda t}\left(\sum _{k=0}^{s-1}\frac{(Nt{)}^k}{k!}\right)$$若尔当定理的推导相当复杂，而若尔当形在实践中并不流行，这是因为它的计算过程并不稳定，$A$ 的微小变化将会分离重复的特征值，并且去掉对角线外的 $1$，会将若尔当形变成对角矩阵 $\Lambda$.
相似矩阵的中心思想 —— 在保留 $A$ 重要性质的前提下，使它变得尽可能的简单。最佳的基 $B$ 给出 $B^{-1}AB=J$.
问题： 如果 $A$ 是一个方阵，且 $A^2=O$ 即零矩阵，则其特征值和所有可能的若尔当形。
答 特征值一定是零，因为 $A\mathbf{x}=\lambda \mathbf{x}$ 可以推出 $A^2\mathbf{x}={\lambda }^2\mathbf{x}=0\mathbf{x}$. $A$ 的若尔当形有 $J^2=O$，因为 $J^2=(B^{-1}AB)(B^{-1}AB)=B^{-1}{A}^{2}B=O$，$J$ 的每个子块对角线上一定是 $\lambda =0$，对于大小为 $1\times 1,2\times 2,3\times 3$ 的子块的 $J_k$，观察 $J_k^2$：$${\left[\begin{array}{c}0\end{array}\right]}^2=\left[\begin{array}{c}0\end{array}\right]{\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]}^2=\left[\begin{array}{cc}0& 0\\ 0& 0\end{array}\right]{\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]}^2=\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$结论：如果 $J^2=O$，则所有子块的大小一定时 $1\times 1$ 或 $2\times 2$，如果含有三阶子块时，$J^2$ 将不是零矩阵。
$J$ 和 $A$ 的秩是所有 $1$ 的个数，最大的秩是 $\frac{n}{2}$。这个仅在有 $\frac{n}{2}$ 个子块、且每个子块均是 $2\times 2$ 的并且是秩 $1$ 的情况时发生。

三、傅里叶基

下面介绍应用数学中最伟大的基 —— 傅里叶基，它的离散形式是 ${\text{R}}^n$ 中的向量，连续形式是函数空间中的函数。由于它们都是固定值，所以不需要知道矩阵 $A$，这些基 $B_{\text{in}}=B_{\text{out}}$ 可能无法对角化 $A$，但是对于应用数学中很多重要的矩阵 $A$，矩阵 $B^{-1}AB$ 很接近对角矩阵。
$B_{\text{in}}=B_{\text{out}}=F$，其中 $F$ 是傅里叶矩阵（Fourier matrix）。则 $F\mathbf{x}$ 是 $\mathbf{x}$ 的离散傅里叶变换（Discrete Fourier Transform）。
上述说明：式（8.3.6）中列为 $(1,\lambda ,{\lambda }^2,{\lambda }^3)$ 的傅里叶矩阵很重要，这些是很有用的好的基向量。
那么哪些矩阵可以使用 $F$ 对角化呢？我们先从特征向量 $(1,\lambda ,{\lambda }^2,{\lambda }^3)$ 开始，再找到有这些特征向量的矩阵：$$如果{\lambda }^4=1，则P\mathbf{x}=\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\end{array}\right]\left[\begin{array}{c}1\\ \lambda \\ {\lambda }^2\\ {\lambda }^3\end{array}\right]=\lambda \left[\begin{array}{c}1\\ \lambda \\ {\lambda }^2\\ {\lambda }^3\end{array}\right]=\lambda \mathbf{x}(\mathrm{8.3.5})$$$P$ 是一个置换矩阵，方程 $P\mathbf{x}=\lambda \mathbf{x}$ 表明 $\mathbf{x}$ 是 $P$ 的特征向量，$\lambda$ 是 $P$ 的特征值。注意第四行是由于 $1={\lambda }^4$，$\lambda$ 的这个性质是下面推导的基础。
这里有四个不同的特征值 $\lambda$ 吗？答案是肯定的。这四个数是 $\lambda =1,i,-1,-i$，均满足 ${\lambda }^4=1$.（我们知道 $i^2=-1$，两边同时平方得到 $i^4=1$.）因此这四个数字都是 $P$ 的特征值，它们各对应一个特征向量 $\mathbf{x}=(1,\lambda ,{\lambda }^2,{\lambda }^3)$. 特征向量矩阵 $F$ 对角化了置换矩阵 $P$：$$特征值矩阵\Lambda \left[\begin{array}{cccc}1& & & \\ & i& & \\ & & -1& \\ & & & -i\end{array}\right]\begin{array}{l}特征向量矩阵\\ 是傅里叶矩阵F\end{array}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& i^2& 1& (-i{)}^2\\ 1& i^3& -1& (-i{)}^3\end{array}\right](\mathrm{8.3.6})$$$F$ 的这些列都是正交的，这是因为它们是正交矩阵 $P$ 的特征向量（正交矩阵不同的特征值对应的特征向量必定正交）。但是这个傅里叶矩阵 $F$ 是复数矩阵（它是世界上最重要的复数矩阵），通过快速傅里叶变换（Fast Fourier Transform：FFT），乘法 $F\mathbf{x}$ 可以很快的完成。

关键问题： 除了 $P$ 还有什么矩阵有相同的特征向量矩阵 $F$ ？我们知道 $P^2,P^3$ 和 $P^4$ 和 $P$ 有相同的特征向量，矩阵 $F$ 可以对角化 $P$ 的所有幂，$P^2,P^3$ 和 $P^4$ 的特征值分别是 ${\lambda }^2,{\lambda }^3$ 和 ${\lambda }^4$，例如 $P^2\mathbf{x}={\lambda }^2\mathbf{x}$：$$当{\lambda }^4=1时,P^2\mathbf{x}=\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]\left[\begin{array}{c}1\\ \lambda \\ {\lambda }^2\\ {\lambda }^3\end{array}\right]={\lambda }^2\left[\begin{array}{c}1\\ \lambda \\ {\lambda }^2\\ {\lambda }^3\end{array}\right]={\lambda }^2\mathbf{x}$$由于 $P^4=I$，所以四次幂很特殊，当我们做四次 “循环置换（cyclic permutation）” 时，$P^4\mathbf{x}=\mathbf{x}$，$P^4=I$ 的特征值是 $1,1,1,1$，$P$ 所有特征值的四次幂都等于 $1$：$1^4=1,i^4=1,(-1{)}^4=1,(-i{)}^4=1$.
更进一步还能够得到更多的矩阵，如果 $P,P^2,P^3$ 和 $P^4=I$ 有相同的特征向量矩阵 $F$，则它们所有的线性组合 $C=c_{1}P+c_2{P}^2+c_3{P}^3+c_{0}I$ 也有相同的特征向量矩阵：$$循环矩阵\text{Circulantmatrix}C=\left[\begin{array}{cccc}{c}_0& c_1& c_2& c_3\\ c_3& c_0& c_1& c_2\\ c_2& c_3& c_0& c_1\\ c_1& c_2& c_3& c_0\end{array}\right]\begin{array}{l}特征向量是傅里叶矩阵F的各列\\ 四个特征值c_0+c_1\lambda +c_2{\lambda }^2+c_3{\lambda }^3\\ 其中\lambda =1,i,-1,-i\\ \lambda =1时的特征值是c_0+c_1+c_2+c_3\end{array}$$这是一大步，我们找到了特征向量是 $F$ 中的傅里叶向量的所有矩阵（循环矩阵 $C$），我们也知道了 $C$ 的四个特征值，下面会给出其公式：$$\begin{array}{l}C的四个特征值由\\ 傅里叶变换Fc给出\end{array}Fc=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]\left[\begin{array}{c}{c}_0\\ c_1\\ c_2\\ c_3\end{array}\right]=\left[\begin{array}{c}{c}_0+c_1+c_2+c_3\\ c_0+i{c}_1-c_2-i{c}_3\\ c_0-c_1+c_2-c_3\\ c_0-i{c}_1-c_2+i{c}_3\end{array}\right]$$【例2】上述思想同样适用于任意大小的傅里叶矩阵 $F$ 和相应的循环矩阵 $C$. $2\times 2$ 的矩阵看起来很平凡但是非常有用。此时 $P$ 的特征值满足 ${\lambda }^2=1$ 而不再是 ${\lambda }^4=1$ 了，那么复数 $i$ 也不再需要了：$\lambda =\pm 1$.$$\begin{array}{l}傅里叶矩阵F由P\\ 和C的特征向量构成\end{array}F=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]P=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\begin{array}{l}循环矩阵\\ c_{0}I+c_{1}P\end{array}C=\left[\begin{array}{cc}{c}_0& c_1\\ c_1& c_0\end{array}\right]$$$C$ 的特征值是 $c_0+c_1$ 和 $c_0-c_1$，它们是当向量 $\mathbf{c}=(c_0,c_1)$ 时由傅里叶变换 $F\mathbf{c}$ 得到的。变换 $F\mathbf{c}$ 给出任意 $n$ 阶 $C$ 的特征值。
注意循环矩阵有相同的对角元素，数字 $c_0$ 沿着主对角线排列，数字 $c_1$ 在对角线正上方，“回转（wraps around）” 或 “环绕（circles around）” 到 $C$ 的左下角。这个解释了循环（circulant）这个名字，并表明这些矩阵是周期的（periodic）或循环的（cyclic）. 甚至 $\lambda$ 的幂也是循环的，这是因为由 ${\lambda }^4=1$ 可以推出 ${\lambda }^5,{\lambda }^6,{\lambda }^7,{\lambda }^8=\lambda ,{\lambda }^2,{\lambda }^3,{\lambda }^4$.
对角元素相同是 $C$ 的一个重要性质，它对应了微分方程中的常系数（constant coefficients），这恰好是傅里叶矩阵完美发挥作用的原因！$$\begin{array}{l}方程\frac{{\text{d}}^{2}u}{\text{d}{t}^2}=-u的通解是u=c_0\cos t+c_1\sin t\\ 方程\frac{{\text{d}}^{2}u}{\text{d}{t}^2}=tu的解无法由初等函数表示\end{array}$$这些方程是线性的，第一个方程是简谐振动方程：它是牛顿第二定律 $f=ma$ 质量 $m=1$，加速度 $a=\frac{{\text{d}}^{2}u}{\text{d}{t}^2}$，力 $f=-u$ 的情形。常系数使得这个微分方程可以实际求解。
第二个方程 $u^{\prime \prime }=tu$ 有一个变系数（variable coefficient） $t$，这是物理学和光学中的艾里方程（Airy’s equation），它是为了解释彩虹而形成的。当 $t$ 的值穿过零时，解就完全变了，这些解的表示需要无穷级数。
重点是常系数微分方程有形如 $e^{\lambda t}$ 这样的简单解，将 $e^{\lambda t}$ 代入微分方程可求出 $\lambda$，数字 $\lambda$ 就像是一个特征值。对于 $u=\cos t$ 和 $u=\sin t$，数字 $\lambda =i$，伟大的欧拉公式（Euler’s formula）$e^{it}=\cos t+i\sin t$ 引入了复数，$P$ 和 $C$ 的特征值也是这样。

四、函数空间的基

关于 $x$ 的函数，我们首先能够想到的是以幂函数 $1,x,x^2,x^3,\cdots$ 为基，但是不幸的是，这是一个非常糟糕的基，这些函数 $x^n$ 几乎不线性无关，$x^{10}$ 差不多是基向量 $1,x,\cdots ,x^9$ 的线性组合。实际上几乎不可能使用这么差的 “病态（ill-conditioned）” 基来计算的。
如果我们用向量而不是函数，这些向量构成矩阵 $B$，我们可以通过观察 $B^{T}B$ 来判断基的好坏，这个矩阵包含了基向量（$B$ 的列）所有的内积（inner product）. 当 $B^{T}B=I$ 时，基是正交的，这是最好的情况。但是基 $1,x,x^2,\cdots$ 会生成邪恶的希尔伯特矩阵（Hilbert matrix）：此时的 $B^{T}B$ 最大特征值和最小特征值的比值（条件数）会非常大，一个大的条件数（condition number）意味着基的选择并不好。
注： 现在 $B$ 的各列是函数而不是向量了！我们仍然使用 $B^{T}B$ 来检验线性无关性。因此我们需要知道两个函数的点积（此时称为内积会更好）—— 它们是 $B^{T}B$ 中的值。
向量的点积就是 ${\mathbf{x}}^T\mathbf{y}=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$，函数的内积将是积分而不是加法，但是思想是完全平行的：$$\begin{array}{rcl}内积\text{Inner product}(f,g)& =& \int f(x)g(x)\text{d}x\\ 复内积\text{Complex inner product}(f,g)& =& \int \overline{f(x)}g(x)\text{d}x,\overline{f}为复共轭\\ 加权内积\text{Weight inner product}(f,g{)}_w& =& \int w(x)\overline{f(x)}g(x)\text{d}x,w为权函数\end{array}$$从 $x=0$ 到 $x=1$ 的积分，$x^i$ 与 $x^j$ 的内积是$${\int }_0^1{x}^i{x}^j\text{d}x=\frac{x^{i+j+1}}{i+j+1}{|}_{x=0}^{x=1}，这个是希尔伯特矩阵B^{T}B的元素$$若积分区间改成从 $x=-1$ 到 $x=1$ 的对称区间，我们可以立刻得到所有偶函数和奇函数的正交性：$$区间\text{Interval}[-1,1]{\int }_{-1}^1{x}^2{x}^5\text{d}x=0{\int }_{-1}^1\text{even}(x)\text{odd}(x)\text{d}x=0.\text{even}(x)为偶函数，\text{odd}(x)为奇函数$$这个变化使得一半基函数与另一半基函数正交，这个比较简单，所以后续我们继续使用对称的积分区间 $-1$ 到 $1$（或 $-\pi$ 到 $\pi$）。但是我们需要一组比幂函数 $x^n$ 更好的基 —— 最好是一组正交基。

五、函数空间的正交基

下面的是在理论推导和数值计算中最重要的三组偶-奇基（even-odd bases）：

$$\begin{array}{ll}1、傅里叶基\text{Fourier basis}& 1,\sin x,\cos x,\sin 2x,\cos 2x,\cdots \\ 2、勒让德基\text{Legendre basis}& 1,x,x^2-\frac{1}{3},x^3-\frac{3}{5}x,\cdots \\ 3、切比雪夫基\text{Chebyshev basis}& 1,x,2x^2-1,4x^3-3x,\cdots \end{array}$$

傅里叶基函数（正弦和余弦函数）都是周期性的，由于 $\cos (x+2\pi )=\cos x$ 且 $\sin (x+2\pi )=\sin x$，所以周期是 $2\pi$. 这组基对于周期函数 $f(x)$：$f(x+2\pi )=f(x)$ 这样的函数非常好。
这组基也是正交的，每个正弦、余弦函数都和其余的正弦、余弦函数正交，当然基函数 $\cos nx$ 和 $\sin nx$ 与它自身并不正交。
最重要的是，正弦-余弦基在做函数逼近是也非常好。如果我们有一个光滑的周期函数 $f(x)$，则用少量的正弦、余弦函数（低频）就可以很好的逼近它。$f(x)$ 的跳跃和信号中的噪声可以在高频部分（较大的 $n$）看出，我们希望信号不会被噪声所淹没。
傅里叶变换将 $f(x)$ 和傅里叶级数中的系数 $a_k$ 和 $b_k$ 联系起来：

$$傅里叶级数\text{Fourier series}f(x)=a_0+b_1\sin x+a_1\cos x+b_2\sin 2x+a_2\cos 2x+\cdots$$

可以看到，函数空间是无穷维（infinite-dimensional）的，通常需要无穷多个基函数才可以完美重现函数 $f(x)$，但是求每个系数（如 $a_3$）的公式，类似于将向量 $\mathbf{b}$ 投影到通过直线 $\mathbf{a}$ 的直线上的公式 $\frac{{\mathbf{b}}^T\mathbf{a}}{{\mathbf{a}}^T\mathbf{a}}$.
这里将函数 $f(x)$ 投影到函数空间中通过 $\cos 3x$ 的直线上：$$傅里叶系数\text{Fourier coefficient}{a}_3=\frac{(f(x),\cos 3x)}{(\cos 3x,\cos 3x)}=\frac{\int f(x)\cos 3x\text{d}x}{\int \cos 3x\cos 3x\text{d}x}(\mathrm{8.3.7})$$【例3】三角函数中的二倍角公式（double angle formula）是 $\cos 2x=2{\cos }^{2}x-1$，可以推出 ${\cos }^{2}x=\frac{1}{2}+\frac{1}{2}\cos 2x$，这是一个很短的傅里叶级数，${\sin }^{2}x=\frac{1}{2}-\frac{1}{2}\cos 2x$ 也是这样的。
傅里叶级数理论如同函数空间的 “线性代数”。

六、勒让德多项式和切比雪夫多项式

勒让德多项式（Legendre polynomials）是对幂函数使用格拉姆-施密特（Gram-Schmidt）正交化方法的结果，其目的是正交化幂函数 $1,x,x^2,\cdots$. 首先，奇函数 $x$ 在区间 $[-1,1]$ 上已经与偶函数 $1$ 正交，它们的乘积 $x\cdot 1=x$ 在该区间上的积分为零，但是 $x^2$ 和 $1$ 的内积 ${\int }_{-1}^1{x}^2\text{d}x=\frac{2}{3}$：$$\frac{(x^2,1)}{(1,1)}=\frac{{\int }_{-1}^1{x}^2\text{d}x}{{\int }_{-1}^{1}1\text{d}x}=\frac{2/3}{2}=\frac{1}{3}\text{Gram-Schmidt}方法给出勒让德多项式x^2-\frac{1}{3}$$同样的，奇函数 $x^3$ 在奇函数 $x$ 方向上的分量是 $\frac{3x}{5}$：$$\frac{(x^3,x)}{(x,x)}=\frac{{\int }_{-1}^1{x}^4\text{d}x}{{\int }_{-1}^1{x}^2\text{d}x}=\frac{2/5}{2/3}=\frac{3}{5}\text{Gram-Schmidt}方法给出勒让德多项式x^3-\frac{3}{5}x$$继续对 $x^4,x^5,\cdots$ 使用 Gram-Schmidt 方法，可以得到所有的勒让德函数，这是一组好基。
最后是切比雪夫多项式（Chebyshev polynomials）$1,x,2x^2-1,4x^3-3x,\cdots$，这组基并不来源于 Gram-Schmidt，它们与 $1,\cos \theta ,\cos 2\theta ,\cos 3\theta ,\cdots$ 相联系，这带来了一个巨大的计算优势——可以使用快速傅里叶变换（Fast Fourier Transform）. 令 $x=\cos \theta$ 即可以看到切比雪夫多项式和傅里叶级数之间的关系：

$$\begin{array}{l}切比雪夫多项式\\ 到傅里叶级数\end{array}\begin{array}{l}2x^2-1=2(\cos \theta {)}^2-1=\cos 2\theta \\ 4x^3-3x=4(\cos \theta {)}^3-3(\cos \theta )=\cos 3\theta \end{array}$$

$n$ 阶切比雪夫多项式 $T_n(x)$ 和傅里叶级数相联系的公式是 $\cos n\theta =T_n(\cos \theta )$.
注：有一个名为 “chebfun" 的大型软件以这些多项式为基，每个函数 $f(x)$ 都可以由一个超高精度的切比雪夫多项式逼近，就可以对 $f(x)$ 积分、求解 $f(x)=0$，求其最大值和最小值，甚至可以求关于 $f(x)$ 的微分方程——很快且精度很高。
当用 chebfun 将函数 $f(x)$ 用一个切比雪夫多项式替代时，将很容易解决问题。

七、主要内容总结

1. 要说一组基是好基，将其作为矩阵 $B$ 的列，则 $B$ 应该由好的条件数（well-conditioned）. 正交基是做好的。
2. 如果 $\Lambda =B^{-1}AB$ 是对角矩阵，则其也是一组好基。但是若尔当形 $J$ 可能非常不稳定。
3. 傅里叶矩阵可以非常好的对角化常系数周期方程。
4. 基 $1,x,x^2,\cdots$ 得到的 $B^{T}B$ 是希尔伯特矩阵：对于计算非常不友好。
5. 勒让德和切比雪夫多项式都是函数空间中极好的基。