6.2 对角化矩阵（2）

五、不能对角化的矩阵

假设 $\lambda$ 是 $A$ 的一个特征值，我们从两个方面发现这个事实：

1. 特征向量（几何的）：$A\mathbf{x}=\lambda \mathbf{x}$ 有非零解。
2. 特征值（代数的）：$A-\lambda I$ 的行列式为零。

数字 $\lambda$ 可能是一个单一的特征值也可能是重复的特征值，我们想要知道它的重复数（multiplicity）。大多数特征值的重复度 $M=1$（单一的特征值），有一条特征向量的直线，且 $\det (A-\lambda I)$ 没有多重因子。
但是也有一些例外的矩阵，它的特征值可能重复（repeated），则有两种不同的方式来计算它的重复度，对于每一个 $\lambda$ 总是有 $\text{GM}\le \text{AM}$：

1. $(几何重数\text{Geometric Multiplicity = GM})$计算 $\lambda$ 对应的无关特征向量的个数。则 $\text{GM}$ 就是 $A-\lambda I$ 零空间的维度。
2. $(代数重数\text{Algebraic Multiplicity = AM})$$\text{AM}$ 计算的是 $\lambda$ 在特征值中的重复次数，检验 $\det (A-\lambda I)=0$ 的 $n$ 个根。

如果 $A$ 有特征值 $\lambda =4,4,4$，则特征值有 $\text{AM}=3$，且 $\text{GM}=1,2$ 或 $3$。
下面的矩阵 $A$ 是一个标准的麻烦例子，它的特征值 $\lambda =0$ 是重复的，这是一个双重特征值（$\text{AM}=2$），但是只有一个特征向量 $\text{GM}=1$。$$\begin{array}{c}\text{AM}=2\\ \text{GM}=1\end{array}A=\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]有\det (A-\lambda I)=\left|\begin{array}{cc}-\lambda & 1\\ 0& -\lambda \end{array}\right|={\lambda }^2\begin{array}{c}\lambda =0,0但是只\\ 有1个特征向量\end{array}$$由于 ${\lambda }^2=0$ 有双重根，所以理论上应该有两个特征向量，双重因子 ${\lambda }^2$ 使得 $\text{AM}=2$，但是只有 $1$ 个特征向量 $\mathbf{x}=(1,0)$ 且 $\text{GM}=1$。当 $\text{GM}$ 小于 $\text{AM}$ 时，此时特征向量的不足使得 $A$ 无法对角化。
下面的三个矩阵同样是特征向量不足，它们重复的特征值是 $\lambda =5$，迹是 $10$ 行列式是 $25$：$$A=\left[\begin{array}{cc}5& 1\\ 0& 5\end{array}\right]和A=\left[\begin{array}{cc}6& -1\\ 1& 4\end{array}\right]和A=\left[\begin{array}{cc}7& 2\\ -2& 3\end{array}\right]$$这三个矩阵都有 $\det (A-\lambda I)=(\lambda -5{)}^2$，代数重数是 $\text{AM}=2$，但是每个 $A-5I$ 的秩都为 $1$，所以几何重数是 $\text{GM}=1$。对应 $\lambda =5$ 的只有一条特征向量的直线，这些矩阵都不能对角化。

六、哈密顿 - 凯莱定理（Cayley-Hamilton Theorem）

哈密顿 - 凯莱定理是说乘积 $(A-{\lambda }_{1}I)(A-{\lambda }_{2}I)\cdots (A-{\lambda }_{n}I)$ 是零矩阵。在多项式 $p(\lambda )=\det (A-\lambda I)$ 中将数字 $\lambda$ 替换成了矩阵 $A$，乘积 $p(A)$ 总是零矩阵，当 $A$ 不能对角化时仍然成立。
证明：当 $A$ 可以对角化时，矩阵 $A-{\lambda }_{j}I=X(\Lambda -{\lambda }_{j}I)X^{-1}$ 中的 $\Lambda -{\lambda }_{j}I$ 的第 $j,j$ 对角线上的元素为零。则 $$\begin{array}{l}p(A)=(A-{\lambda }_{1}I)(A-{\lambda }_{2}I)\cdots (A-{\lambda }_{n}I)\\ =X(\Lambda -{\lambda }_{1}I)X^{-1}X(\Lambda -{\lambda }_{2}I)X^{-1}\cdots X(\Lambda -{\lambda }_{n}I)X^{-1}\\ =X(\Lambda -{\lambda }_{1}I)(\Lambda -{\lambda }_{2}I)\cdots (\Lambda -{\lambda }_{n}I)X^{-1}\end{array}$$这个乘积就是零矩阵，因为中间的对角矩阵在每个对角线的位置上都有一个零，则有 $p(A)=零矩阵$。
当 $A$ 不能对角化时，可以用一系列可对角化的矩阵来近似 $A$。

七、AB 和 BA 的特征值

若 $A$ 是 $m\times n$ 的矩阵，$B$ 是 $n\times m$ 的矩阵，则 $AB$ 和 $BA$ 有相同的非零特征值。
证明：如下面两个方阵相乘，其中第一个和第三个矩阵互为逆矩阵，后面的大小是每个方块矩阵的形状。$$\left[\begin{array}{cc}I& -A\\ 0& I\end{array}\right]\left[\begin{array}{cc}AB& 0\\ B& 0\end{array}\right]\left[\begin{array}{cc}I& A\\ 0& I\end{array}\right]=\left[\begin{array}{cc}0& 0\\ B& BA\end{array}\right]\left[\begin{array}{cc}m\times m& m\times n\\ n\times m& n\times n\end{array}\right]$$上式 $D^{-1}ED=F$ 表明 $F$ 和 $E$ 相似 —— 它们有相同的 $m+n$ 个特征值。$$\begin{array}{l}E=\left[\begin{array}{cc}AB& 0\\ B& 0\end{array}\right]有AB中的m个特征值，加上n个零\\ F=\left[\begin{array}{cc}0& 0\\ B& BA\end{array}\right]有BA中的n个特征值，加上m个零\end{array}$$所以 $AB$ 和 $BA$ 除了 $|n-m|$ 个零外，它们有相同的特征值。
如果 $A=\left[\begin{array}{cc}1& 1\end{array}\right]$，$B=A^T$，则 $A^{T}A=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$ 的特征值是 $\lambda =2$ 和 $0$，$A^{T}A=\left[\begin{array}{c}2\end{array}\right]$ 的特征值为 $2$。

八、主要内容总结

1. 如果 $A$ 有 $n$ 个无关的特征向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$，它们进入到 $X$ 的列。$$A被X对角化X^{-1}AX=\Lambda 和A=X\Lambda X^{-1}$$
2. $A$ 的幂是 $A^k=X{\Lambda }^k{X}^{-1}$，在 $X$ 中的特征向量不变。
3. $A^k$ 的特征值是矩阵 ${\Lambda }^k$ 中的 $({\lambda }_1{)}^k,({\lambda }_2{)}^k,\cdots ,({\lambda }_n{)}^k$。
4. ${\mathbf{u}}_{k+1}=A{\mathbf{u}}_k$ 从 ${\mathbf{u}}_0$ 开始的解是 ${\mathbf{u}}_k=A^k{\mathbf{u}}_0=X{\Lambda }^k{X}^{-1}{\mathbf{u}}_0$：
   $$由{\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_n{\mathbf{x}}_n得到{\mathbf{u}}_k=c_1({\lambda }_1{)}^k{\mathbf{x}}_1+c_2({\lambda }_2{)}^k{\mathbf{x}}_2+\cdots +c_n({\lambda }_n{)}^k{\mathbf{x}}_n$$这展示了步骤 $1,2,3$，其中 $c^{\prime }s$ 来自于 $X^{-1}{\mathbf{u}}_0$，${\lambda }^k$ 来自 ${\Lambda }^k$，${\mathbf{x}}^{\prime }s$ 来自 $X$。
5. 如果 $A$ 的每个特征值都有足够的特征向量（$\text{GM = AM}$），则 $A$ 可以对角化。

九、例题

【例4】卢卡斯数字（Lucas numbers）除了从 $L_1=1$ 和 $L_2=3$ 开始之外，其它和斐波那契数一样。它们是同样的规则 $L_{k+2}=L_{k+1}+L_k$，后面的卢卡斯数字是 $4,7,11,18$。证明卢卡斯数字 $L_{100}={\lambda }_1^{100}+{\lambda }_2^{100}$。
解： 和斐波那契数相同，也有 ${\mathbf{u}}_{k+1}=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]{\mathbf{u}}_k$，因为 $L_{k+2}=L_{k+1}+L_k$ 是同样的规则（只是不同的起始值），这个方程变成了 $2\times 2$ 的系统：

令 ${\mathbf{u}}_k=\left[\begin{array}{c}{L}_{k+1}\\ \\ L_k\end{array}\right]$，规则 $\begin{array}{l}{L}_{k+2}=L_{k+1}+L_k\\ L_{k+1}=L_{k+1}\end{array}$ 是 ${\mathbf{u}}_{k+1}=\left[\begin{array}{cc}1& 1\\ & \\ 1& 0\end{array}\right]{\mathbf{u}}_k$

$A=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]$ 的特征向量和特征值仍然由 ${\lambda }^2=\lambda +1$ 得来：$${\lambda }_1=\frac{1+\sqrt{5}}{2}和{\mathbf{x}}_1=\left[\begin{array}{c}{\lambda }_1\\ 1\end{array}\right]{\lambda }_2=\frac{1-\sqrt{5}}{2}和{\mathbf{x}}_2=\left[\begin{array}{c}{\lambda }_2\\ 1\end{array}\right]$$现在求解 $c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2={\mathbf{u}}_1=(3,1)$，解是 $c_1={\lambda }_1$ 和 $c_2={\lambda }_2$。检验：$${\lambda }_1{\mathbf{x}}_1+{\lambda }_2{\mathbf{x}}_2=\left[\begin{array}{c}{\lambda }_1^2+{\lambda }_2^2\\ {\lambda }_1+{\lambda }_2\end{array}\right]=\left[\begin{array}{c}{A}^2的迹\\ A的迹\end{array}\right]=\left[\begin{array}{c}3\\ 1\end{array}\right]={\mathbf{u}}_1$$由 ${\mathbf{u}}_{100}=A^{99}{\mathbf{u}}_1$ 我们可以得到卢卡斯数 $(L_{101},L_{100})$，特征向量 ${\mathbf{x}}_1$ 和 ${\mathbf{x}}_2$ 的第二个分量都是 $1$，所以 ${\mathbf{u}}_{100}$ 的第二个分量是：$$\boxed{卢卡斯数字L_{100}=c_1{\lambda }_1^{99}+c_2{\lambda }_2^{99}={\lambda }_1^{100}+{\lambda }_2^{100}}$$卢卡斯数字比斐波那契数开始的要快，最终也要大约 $\sqrt{5}$ 倍。

【例5】求矩阵 $A$ 的逆矩阵、特征值和行列式：$$A=5\ast \text{eye}(4)-\text{ones}(4)=\left[\begin{array}{cccc}4& -1& -1& -1\\ -1& 4& -1& -1\\ -1& -1& 4& -1\\ -1& -1& -1& 4\end{array}\right]$$描述一个特征向量矩阵 $X$，使 $X^{-1}AX=\Lambda$。
解： 全 $1$ 矩阵的特征值是什么？它的秩为 $1$，所以三个特征值是 $\lambda =0,0,0$，迹是 $4$，所以另一个特征值是 $\lambda =4$，从 $5I$ 减去全 $1$ 矩阵得到矩阵 $A$：$$从5,5,5,5减去特征值4,0,0,0得到A的特征值为1,5,5,5。$$$A$ 的行列式是四个特征值的乘积，即是 $125$。$\lambda =1$ 对应的特征向量是 $\mathbf{x}=(1,1,1,1)$ 或 $(c,c,c,c)$，由于 $A$ 是对称矩阵，所以其它的特征向量都垂直于 $\mathbf{x}$。最漂亮的特征向量矩阵 $X$ 是对称的正交哈达玛矩阵（Hadamard matrix） $H$ 乘上 $\frac{1}{2}$ 得到单位列向量。$$标准正交特征向量X=H=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]=H^T=H^{-1}$$$A^{-1}$ 的特征值是 $1,\frac{1}{5},\frac{1}{5},\frac{1}{5}$，特征向量不变，所以 $A^{-1}=H{\Lambda }^{-1}{H}^{-1}$，逆矩阵惊人的简洁：$$A^{-1}=\frac{1}{5}\ast (\text{eye}(4)+\text{ones}(4))=\frac{1}{5}\left[\begin{array}{cccc}2& 1& 1& 1\\ 1& 2& 1& 1\\ 1& 1& 2& 1\\ 1& 1& 1& 2\end{array}\right]$$$A$ 是由 $5I$ 变化来的秩一矩阵，所以 $A^{-1}$ 是由 $I/5$ 变化来的秩一矩阵。
在一个有 $5$ 个节点的图中，行列式 $125$ 是生成树（spanning trees，接触所有的节点）的个数，树没有回路。
如果有 $6$ 个节点，矩阵 $6\ast \text{eye}(5)-\text{ones}(5)$ 有 $5$ 个特征值 $1,6,6,6,6$。