30、线性代数中的特征值、奇异值分解与主成分分析

线性代数中的特征值、奇异值分解与主成分分析

1. 对称矩阵的特征向量特性

对称矩阵的每对特征向量相互正交，就像平面中的x轴和y轴一样。当两个向量的点积为零时，它们就是正交的。例如，(0, 1) · (1, 0) = 0，(2, -1) · (1, 2) = 0 。特征向量可以在n维空间中充当维度或基的角色，这为矩阵提供了许多几何解释。任何矩阵都可以进行编码，其中每个特征值表示其关联特征向量的大小。

2. 特征值的计算

对于一个秩为n的矩阵，其n个不同的特征值可以通过分解其特征方程来找到。从定义等式AU = λU开始，当我们乘以单位矩阵I时，等式不变，即AU = λIU → (A - λI)U = 0 。

例如，对于矩阵 (A = \begin{bmatrix}-5 & 2 \ 2 & -2\end{bmatrix})，有 (A - \lambda I = \begin{bmatrix}-5 - \lambda & 2 \ 2 & -2 - \lambda\end{bmatrix}) 。由于等式 (A - λI)U = 0 在向量U乘以任何标量值c时仍然成立，这意味着有无限多个解，因此线性系统是欠定的。在这种情况下，矩阵的行列式必须为零。对于2×2矩阵，行列式为ad - bc，所以 ((-5 - \lambda)(-2 - \lambda) - 2×2 = \lambda^2 + 7\lambda + 6 = 0) 。使用二次公式求解λ，得到λ = -1和λ = -6 。

一般来说，行列式 |A - λI| 是一个n次多项式，该特征方程的根定义了矩阵A的特征值。与任何给定特征值相关联的向量可以通过求解线性系