4、矩阵奇异值分解与特征值分解详解

矩阵奇异值分解与特征值分解详解

1. 奇异值分解（SVD）

1.1 SVD 的历史与定义

奇异值分解（SVD）的发明历史可追溯到早期研究。1902 年，Autonne 将 SVD 扩展到复方阵，1939 年，Eckart 和 Young 进一步将其扩展到一般矩形矩阵，现在矩形矩阵的 SVD 定理通常被称为 Eckart - Young 定理。

SVD 可视为特征值分解（ED）在非方阵情况下的扩展。ED 仅适用于方阵，且仅使用一个矩阵（及其逆）来实现对角化；而 SVD 表明，任何实矩阵都可以通过两个正交矩阵进行对角化。若矩阵为方阵且对称，SVD 的两个正交矩阵将相同，ED 和 SVD 也会相同，并且与矩阵的秩和降秩最小二乘近似密切相关。

1.2 SVD 的定理与唯一性

1.2.1 定理内容

对于任意矩阵 (A \in \mathbb{R}^{m\times n}) 或 (A \in \mathbb{C}^{m\times n})，存在两个正交（或酉）矩阵 (U \in \mathbb{R}^{m\times m}) 或 (U \in \mathbb{C}^{m\times m}) 以及 (V \in \mathbb{R}^{n\times n}) 或 (V \in \mathbb{C}^{n\times n})，使得：
[A = UR V^T \text{ 或 } A = UR V^H]
其中，
[R = \begin{bmatrix}R_1 & 0 \ 0 & 0\end{bmatrix}]
且 (R = \text{diag}[r_1, r_2, \l