Singular Value Decomposition

最新推荐文章于 2025-09-22 13:26:37 发布

原创最新推荐文章于 2025-09-22 13:26:37 发布 · 592 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#线性代数 #矩阵 #matlab #matrix

Math 专栏收录该内容

3 篇文章

订阅专栏

本文探讨了对称矩阵的对角化定理，以及奇异值分解在实数矩阵中的应用。通过实例解析，展示了如何找到正交矩阵使得矩阵对角化，并揭示了奇异值在矩阵信息表示中的重要性，特别提到了奇异值分解在图片压缩中的实际运用。

奇异值分解（Singular Value Decomposition）

对称矩阵的对角化

定理：设 $A$ 为 $n$ 阶对称矩阵，则必有正交矩阵 $P$ ，使 $P−1AP=PTAP=ΛP^{-1}AP=P^TAP=\varLambda$ （也可写作 $A=PΛPTA=P\varLambda P^T$ ），其中 $Λ\varLambda$ 是以 $A$ 的 $n$ 个特征值为对角元的对角矩阵。

由 $PTAP=ΛP^TAP=\varLambda$ 得 $AP=PΛAP=P\varLambda$ ，并将 $P$ 使用列向量表示 $P=(p_1,p_2,...,p_n)$ ，即得：
$A\left(p_1,p_2,...,p_n\right)=\left(p_1,p_2,...,p_n\right) \begin{bmatrix} \lambda_1&&& \\ &\lambda_2&& \\ &&\ddots& \\ &&&\lambda_n \\ \end{bmatrix}$
于是 $(i=1,2,...,n)Ap_i=\lambda_ip_i \ (i=1,2,...,n)$ ， $P$ 的列向量 $p_i$ 为 $A$ 对应于特征值 $λi\lambda_i$ 的特征向量。

奇异值分解

设 $A$ 为 $m×nm\times n$ 的实数矩阵，希望将其分解为：
$A=U\Sigma V^T$
其中 $U$ 与 $V$ 都是正交矩阵， $U∈Rm×mU\in \mathbb{R}^{m\times m}$ 称为左奇异矩阵， $V∈Rn×nV\in \mathbb{R}^{n\times n}$ 称为右奇异矩阵， $Σ∈Rm×n\Sigma \in \mathbb{R}^{m\times n}$ 仅在主对角线上有非零元素，称之为奇异值。

假定 $m < n$ （下同），则（其中 $σ1,σ2,...,σm\sigma_1,\sigma_2,...,\sigma_m$ 即为奇异值）：
$\Sigma= \begin{bmatrix} \sigma_1 &&&&\\ &\sigma_2 &&&\\ &&\ddots &&\\ &&&\sigma_m &&\\ \end{bmatrix}_{m\times n}$
求解 $U,Σ,VU,\Sigma,V$
$AA^T=U\Sigma V^TV\Sigma^TU^T=U\Sigma\Sigma^T U^T \\ A^TA=V\Sigma^TU^TU\Sigma V^T=V\Sigma^T\Sigma V^T$
其中：
$\Sigma\Sigma^T= \begin{bmatrix} \sigma_1^2 &\\ &\sigma_2^2 &\\ &&\ddots &\\ &&&\sigma_m^2 \\ \end{bmatrix}_{m\times m} \Sigma^T\Sigma= \begin{bmatrix} \sigma_1^2 &&&&&\\ &\sigma_2^2 &&&&\\ &&\ddots &&&\\ &&&\sigma_m^2 &&\\ &&&&0 &\\ &&&&&\ddots \\ \end{bmatrix}_{n\times n}$
而 $AA^T,A^TA$ 都是对称矩阵，使用对称矩阵的可对角化的性质，可求出 $U, V$ ， $ΣΣT\Sigma\Sigma^T$ 或 $ΣTΣ\Sigma^T\Sigma$ 对角非零元素即为奇异值的平方。