8.7 特征分解

　　许多数学对象可以通过将它们分解成多个组成部分，或者找到它们的一些属性而更好地理解，这些属性是通用的，而不是由我们选择表示它们的方式产生的。
　　例如，整数可以分解为质因数。我们可以用十进制或二进制等不同方式表示整数$12$，但是$12=2\times 3 \times 3$永远是对的。从这个表示中我们可以获得一些有用的信息，比如12不能被5整除，或者12的倍数可以被3整数。
　　正如我们可以通过分解质因数来发现整数的一些内在性质，我们也可以通过分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。
　　特征分解（eigendecomposition）是使用最广的矩阵分解之一，即我们将矩阵分解成一组特征向量和特征值。
　　当向量$\begin{bmatrix} x_1 \\x_2 \\\vdots\\x_n \end{bmatrix}$通过“$n$阶方$\begin{bmatrix}&a_{11} &a_{12}&\cdots &a_{1n}\\&a_{21} &a_{22}&\cdots &a_{2n}\\&\vdots&\vdots&\ddots&\vdots\\&a_{n1} &a_{n2}&\cdots &a_{nn}\end{bmatrix}$对应的线性映射$f$”形成的像为$\lambda\begin{bmatrix} x_1 \\x_2 \\\vdots\\x_n \end{bmatrix}$时，我们把$\lambda$叫做“$n$阶方$\begin{bmatrix}&a_{11} &a_{12}&\cdots &a_{1n}\\&a_{21} &a_{22}&\cdots &a_{2n}\\&\vdots&\vdots&\ddots&\vdots\\&a_{n1} &a_{n2}&\cdots &a_{nn}\end{bmatrix}$的特征值（eigenvalue）”。把$\begin{bmatrix} x_1 \\x_2 \\\vdots\\x_n \end{bmatrix}$叫做“与特征值$\lambda$对应的特征向量（eigenvector）”。另外，零向量不能解释为特征向量。
举例1：
$c_1\begin{bmatrix} 3 \\1\end{bmatrix}+c_2\begin{bmatrix} 1 \\2\end{bmatrix}$通过$2$阶方阵$\begin{bmatrix}8 &-3\\2& 1\end{bmatrix}$对应的像为：

$$\begin{align*} &\begin{bmatrix}8 &-3\\2& 1\end{bmatrix} \lbrace c_1\begin{bmatrix} 3 \\1\end{bmatrix}+c_2\begin{bmatrix} 1 \\2\end{bmatrix}\rbrace \\=&c_1\begin{bmatrix}8 &-3\\2& 1\end{bmatrix}\begin{bmatrix} 3 \\1\end{bmatrix}+c_2\begin{bmatrix}8 &-3\\2& 1\end{bmatrix}\begin{bmatrix} 1 \\2\end{bmatrix} \\=&c_1\begin{bmatrix}8 \times 3+&(-3)\times1\\2\times3+&1\times1\end{bmatrix}+c_2\begin{bmatrix}8\times1+&(-3)\times2\\2\times1+&1\times2\end{bmatrix} \\=&c_1\begin{bmatrix}21\\7\end{bmatrix}+c_2\begin{bmatrix}2\\4\end{bmatrix} \\=&c_1\lbrace7\begin{bmatrix}3\\1\end{bmatrix}\rbrace+c_2\lbrace2\begin{bmatrix}1\\2\end{bmatrix}\rbrace \end{align*}$$
因此矩阵$\begin{bmatrix}8&-3\\2&1\end{bmatrix}$的特征值是$\lambda = 7,2$，特征向量为与$\lambda =7$对应的是$\begin{bmatrix}3\\1\end{bmatrix}$，与$\lambda =2$对应的是$\begin{bmatrix}1\\2\end{bmatrix}$。
举例2：
$c_1\begin{bmatrix}1\\0\\0\end{bmatrix}+c_2\begin{bmatrix}0\\1\\0\end{bmatrix}+c_3\begin{bmatrix}0\\0\\1\end{bmatrix}$通过“$3$阶方阵$\begin{bmatrix}4&0&0\\0&2&0\\0&0&-1\end{bmatrix}$对应的线性映射$f$”形成的像为：
$$\begin{align*} &\begin{bmatrix}4&0&0\\0&2&0\\0&0&-1\end{bmatrix} \lbrace c_1\begin{bmatrix} 1\\0\\0\end{bmatrix}+c_2\begin{bmatrix} 0 \\1\\0\end{bmatrix}+c_3\begin{bmatrix} 0 \\0\\1\end{bmatrix}\rbrace \\=&c_1\begin{bmatrix}4&0&0\\0&2&0\\0&0&-1\end{bmatrix}\begin{bmatrix} 1\\0\\0\end{bmatrix}+c_2\begin{bmatrix}4&0&0\\0&2&0\\0&0&-1\end{bmatrix}\begin{bmatrix} 0 \\1\\0\end{bmatrix}+c_3\begin{bmatrix}4&0&0\\0&2&0\\0&0&-1\end{bmatrix}\begin{bmatrix} 0 \\0\\1\end{bmatrix} \\=&c_1\begin{bmatrix} 4\\0\\0\end{bmatrix}+c_2\begin{bmatrix} 0 \\2\\0\end{bmatrix}+c_3\begin{bmatrix} 0 \\0\\-1\end{bmatrix} \\=&c_1\lbrace4\begin{bmatrix} 1\\0\\0\end{bmatrix}\rbrace+c_2\lbrace2\begin{bmatrix} 0 \\1\\0\end{bmatrix}\rbrace+c_3\lbrace-\begin{bmatrix} 0 \\0\\1\end{bmatrix}\rbrace \end{align*}$$
因此矩阵$\begin{bmatrix}4&0&0\\0&2&0\\0&0&-1\end{bmatrix}$的特征值是$\lambda = 4,2，-1$，特征向量为与$\lambda =4$对应的是$\begin{bmatrix}1\\0\\0\end{bmatrix}$，与$\lambda =2$对应的是$\begin{bmatrix}0\\1\\0\end{bmatrix}$，与$\lambda =-1$对应的是$\begin{bmatrix}0\\0\\1\end{bmatrix}$。
　　$n$阶方阵的特征值和特征向量基本上有$n$种。
　　方阵$A$的特征向量是指与$A$相乘后相当于对该向量进行缩放的非零向量$v$：
$$Av=\lambda v$$
标量$\lambda$被称为这个特征向量对应的特征值。
　　如果$v$是$A$的特征向量，那么任何缩放后的向量$sv(s\in \mathbb R,s\neq 0)$也是$A$的特征向量。此外，$sv$和$v$有相同的特征值。基于这个原因，通常我们只考虑单位特征向量。
假设矩阵$A$有$n$个线性无关的特征向量$\lbrace v^{(1)},\cdots,v^{(n)}\rbrace$，对应着特征值$\lbrace\lambda_1,\cdots,\lambda_n$。我们将特征向量连接成一个矩阵，使得每一列是一个特征向量：$V=\begin{bmatrix}v^{(1)},\cdots,v^{(n)}\end{bmatrix}$。类似地，我们也可以将特征值连接成一个向量$\lambda=\begin{bmatrix}\lambda_1,\cdots,\lambda_n\end{bmatrix}^\mathrm T$。因此$A$的特征分解可以记作
$$A=Vdiag(\lambda)V^{-1}$$
　　我们已经看到了构建具有特定特征值和特征向量饿矩阵，能够使我们在目标方向上延伸空间。然而，我们也常常希望将矩阵分解成特征值和特征向量。这样可以帮助我们分析矩阵的特定性质，就像质因数分解有助于理解整数。
　　不是每一个矩阵都可以分解成特征值和特征向量。在某些情况下，特征分解存在，但是会涉及到复数，而非实数。本书只需要分解一类有简单分解的矩阵。具体地，每个实对称矩阵都可以分解成实特征向量和实特征值：
$$A=Q\Lambda Q^\mathrm T$$
其中$Q$是$A$的特征向量组成的正交矩阵，$\Lambda$是对角矩阵。特征值$\Lambda_{i,i}$对应的特征向量是矩阵$Q$的第$i$列，记作$Q_{:,i}$。因为$Q$是正交矩阵，我们可以将$A$看作是沿方向$v^{(i)}$延展$\lambda_i$倍的空间。
　　虽然任意一个实对称矩阵$A$都有特征分解，但是特征分解可能并不唯一。如果两个或多个特征向量拥有相同的特征值，那么在由这些特征向量产生的生成子空间中，任意一组正交向量都是该特征值对应的特征向量。因此，我们可以等价地从这些特征向量中构成$Q$作为替代。按照惯例，我们通常按降序排列$\Lambda$的元素。在该约定下，特征分解唯一当且仅当所有的特征值都是唯一的。
　　矩阵的特征分解给了我们很多关于矩阵的有用信息。矩阵是奇异的当且仅当含有零特征值。实对称矩阵的特征分解也可以用于优化二次方程$f(x)=x^\mathrm TAx$，其中限制$||x||_2=1$。当$x$等于$A$的某个特征向量时，$f$将返回对应的特征值。在限制条件下，函数$f$的最大值是最大特征值，最小值是最小特征值。
　　所有特征值都是正数的矩阵被称为正定（positive definite）；所有特征值都是非负数的矩阵被称为半正定（positive semidefinite）。同样地，所有特征值都是负数的矩阵被称为负定（negative definite）；所有特征值都是非正数的矩阵被称为半负定（negative semidefinite）。半正定矩阵受到关注是因为它们保证$\forall x,x^\mathrm TAx\ge0$。此外，正定矩阵还保证$x^\mathrm TAx=0\Rightarrow x=0$。