4、矩阵分析基础：奇异值分解与特征值分解

矩阵分析基础：奇异值分解与特征值分解

1. 奇异值分解（SVD）

1.1 SVD的发展历史

SVD的发展历经了多个阶段。早期相关研究可追溯到Stewart的论述。1902年，Autonne将SVD扩展到了复方阵，1939年，Eckart和Young进一步将其推广到一般矩形矩阵，现在矩形矩阵的SVD定理通常被称为Eckart - Young定理。

1.2 SVD定理及唯一性

1.2.1 SVD定理

对于任意矩阵 $A \in \mathbb{R}^{m\times n}$ 或 $\mathbb{C}^{m\times n}$，存在两个正交（或酉）矩阵 $U \in \mathbb{R}^{m\times m}$ 或 $\mathbb{C}^{m\times m}$ 以及 $V \in \mathbb{R}^{n\times n}$ 或 $\mathbb{C}^{n\times n}$，使得：
$A = UR V^T$ 或 $A = UR V^H$
其中，
$R = \begin{bmatrix}R_1 & 0 \ 0 & 0\end{bmatrix}$，且 $R = diag[r_1, r_2, \cdots, r_r]$，其对角元素按 $r_1 \geq r_2 \geq \cdots \geq r_r \geq 0$ 排列，$t = rank(A)$。

$r_1, r_2, \cdots, r_r$ 以及 $r_{r + 1} = r_{r + 2} = \cdots = r_n = 0$ 被称为矩阵 $A$ 的奇异值。矩阵 $U$ 的列向量 $u_i$ 称为