线性代数:特征值与特征向量【1】

特征值和特征向量 也是方阵的一个属性，它们是把一个矩阵当作变换 作用来看的时候这个矩阵所拥有的一些 “特征”，这些“特征”由特征值和特征向量所反映。

对于一个变换矩阵 $A=\left[\begin{array}{cc}4& -2\\ 1& 1\end{array}\right]$，当左乘一个向量$\vec{u}$的时候，$A\cdot \vec{u}={\vec{u}}^{{}^{\prime }}$表示把向量从一个位置转换到空间的另一个位置，这个过程从空间的基来理解的话则表示矩阵 $A$的所表示的空间的一组基$(4,1),(-2,1)$与标准基之间的基变换或是坐标系转换。

而在这个变换过程中，存在一些特殊的向量，如对于变换矩阵 $A=\left[\begin{array}{cc}4& -2\\ 1& 1\end{array}\right]$所代表的变换，存在向量$\vec{u}=(2,2)$ ，该向量在矩阵$A$的变换下$A\cdot \vec{u}={\vec{u}}^{\prime }=(4,4)$，${\vec{u}}^{\prime }$与变换前的 $\vec{u}$ 相比，方向上未发生改变，仅仅只是对原向量$\vec{u}$进行了缩放${\vec{u}}^{\prime }=2\vec{u}$ :

特征值和特征向量的定义

对于在矩阵$A$的变换下， 向量变换后得到的结果向量 方向并没有发生改变，只是原来向量的某一个常数$k$倍，即
$$A\cdot \vec{u}=\lambda \cdot \vec{u}$$式中， $A$是转换矩阵， $\vec{u}$是被转换向量，$\lambda$是常数(可以取负数)。当常数$\lambda$取负数的时候，意味着变换前后的两个向量方向相反，但是它们还是共线向量，也可以称为同向向量。

对于满足关系式 $A\cdot \vec{u}=\lambda \cdot \vec{u}$ 的 $\lambda$ 和 $\vec{u}$ 则称:

• $\lambda$ 称为矩阵A的特征值$(eigenvalue)$
• $\vec{u}$ 称为矩阵A对应于$\lambda$的特征向量$(eigenvector)$

求解特征值和特征向量

假设变换矩阵为 $A=\left[\begin{array}{cc}4& -2\\ 1& 1\end{array}\right]$
求解变换矩阵$A$的特征值和特征向量 即求解方程$A\vec{u}=\lambda \vec{u}$，这个方程涉及两个未知量 $\vec{u}$ 和 $\lambda$:

• 首先，如果$\vec{u}=O$ ，即$\vec{u}$是一个零向量，则一定满足方程，这个零解是一个平凡解，意味着不管矩阵$A$如何变化，$\vec{u}=O$永远是方程$A\vec{u}=\lambda \vec{u}$，所以特征向量的零解没有意义，求解特征向量不考虑 $零向量$。

• 而对于求解的特征值，如果求解出一个$\lambda =0$ ，这个解不是一个平凡解，$\lambda =0$意味着方程 $A\vec{u}=0$是一个齐次线性系统,对于一个齐次线性系统只可能有唯一零解或无穷解，因为$\vec{u}$不能取零向量，所以$A\vec{u}=0$一定有无穷解，那么意味着特征值$\lambda =0$ 反映出变换矩阵$A$一定不可逆的特征 (矩阵$A$可逆则$A\vec{u}=0$只有唯一零解) ，并不是任何一个矩阵都存在特征值$\lambda =0$。

进一步的解方程 $A\vec{u}=\lambda \vec{u}$

$A\vec{u}=\lambda \vec{u}\to A\vec{u}-\lambda \vec{u}=0$，这里涉及矩阵与常数的减法，引入单位矩阵 $I$ 处理 $A\vec{u}\cdot I=\lambda \vec{u}\cdot I$
$A\vec{u}-\lambda I\vec{u}=0$ 变形得到 $(A-\lambda I)\cdot \vec{u}=0$

step.1 变换矩阵 $A$ 的特征方程，解特征值

对于线性系统 $(A-\lambda I)\cdot \vec{u}=0$，我们希望最后求解的特征向量$\vec{u}$有非零解，因为零解是一个平凡解，无意义。因此对于系数矩阵$(A-\lambda I)$要求是一个不可逆矩阵，矩阵可逆，意味着该系统只有唯一零解。根据行列式的内容可知如果矩阵不可逆意味着它的行列式的值为0，所以，转而求解 $\det (A-\lambda I)=0$ ，这个方程只含有一个未知量 $\lambda$，称为变换矩阵$A$的特征方程：

示例:
$\det (A-\lambda I)=\left|\begin{array}{cc}4-\lambda & -2\\ 1& 1-\lambda \end{array}\right|=(4-\lambda )(1-\lambda )-(1\times -2)={\lambda }^2-5\lambda +6$
$\det (A-\lambda I)={\lambda }^2-5\lambda +6=0$
解的 ${\lambda }_1=2,{\lambda }_2=3$

step.2 解特征向量

求出了矩阵的特征值，就可以代入$\lambda$到线性系统 $(A-\lambda I)\cdot \vec{u}=0$进一步求解出特征向量$\vec{u}$：

① 当 ${\lambda }_1=2$
    \, \, \, 代入线性系统可得$(A-2I)\cdot \vec{u}=0$，求解这个线性系统的非零解
    \, \, \, 系数矩阵为$(A-2I)=\left[\begin{array}{cc}4-2& -2\\ 1& 1-2\end{array}\right]$，执行高斯消元化为一般行最简形式
    \, \, \, 方程变为$\left[\begin{array}{cc}1& -1\\ 0& 0\end{array}\right]\cdot \vec{u}=0$

根据 零空间 的知识，这个方程的解 $\vec{u}$ 其实就是矩阵$(A-2I)$ 的零空间的内的向量，
由系数矩阵$(A-2I)$的行最简形式$\left[\begin{array}{cc}1& -1\\ 0& 0\end{array}\right]$可知自由列有一列，那么它的零空间的基就只有一个可以写成$\vec{p}=\left[\begin{array}{c}1\\ 1\end{array}\right]$
所以方程的解，也即变换矩阵$A$的特征向量 $\vec{u}$ 就可以表示为$\vec{u}=\left[\begin{array}{c}1\\ 1\end{array}\right]\cdot k$，$k$可以取任意非零常数

② 当 ${\lambda }_2=3$
    \, \, \, 计算步骤同①
    \, \, \, 系数矩阵高斯消元化为行最简形式，方程变为$\left[\begin{array}{cc}1& -2\\ 0& 0\end{array}\right]\cdot \vec{u}=0$
可解的系数矩阵$(A-3I)$ 的零空间的基为$\vec{p}=\left[\begin{array}{c}2\\ 1\end{array}\right]$，变化矩阵A对应与${\lambda }_2$的特征向量表示$\vec{u}=\left[\begin{array}{c}2\\ 1\end{array}\right]\cdot k$，$k$可以取任意非零常数。