奇异值分解(SVD)详解-优快云博客

本文介绍了奇异值分解(SVD)的概念，包括SVD的定义、矩阵的特征分解和奇异值的求解过程。强调了SVD在非方阵情况下的应用，解释了U、Σ、V矩阵的性质及其在特征向量和奇异值中的角色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LLE MDS FastMap ISOMAP

SVD

奇异值分解 Singual Value Decomposition，简称SVD

如果一个 $n$ 阶方阵 $A$ 相似于对角矩阵，也就是，如果存在一个可逆矩阵 $P$ ，使得 $P^{-1}AP$ 是对角矩阵，则称矩阵 $A$ 为可对角化矩阵，并且最终对角对角矩阵的特征值就是矩阵 $A$ 的特征值
可逆矩阵 $P$ 是 $A$ 的全部特征向量按列构成的矩阵

设 $A$ 是数域上的一个 $n$ 阶方阵，若在相同的数域上存在另一个 $n$ 阶方阵 $B$ ，使得 $A B = B A = E$ ，那么称 $B$ 为 $A$ 的逆矩阵，而 $A$ 被称为可逆矩阵或非奇异矩阵。如果 $A$ 不存在逆矩阵，那么 $A$ 称为奇异矩阵

$A=W\Sigma W^{-1}$
其中 $W$ 是这 $n$ 个特征向量所组成的 $\times n$ 维矩阵，而 $\Sigma$ 为这 $n$ 个特征值为主对角线的 $\times n$ 维矩阵。
一般会把 $W$ 的这 $n$ 个特征向量标准话，即满足 $w_i||_2=1$ ，或者 $w_i^Tw_i=1$ ，此时 $W$ 的 $n$ 个特征向量为标准正交基，满足 $W^TW=E$ ，即 $W^T=W^{-1}$ ，也就是说 $W$ 为酉矩阵。
这样特征分解表达式可以写成
$A=W\Sigma W^T$
要进行特征分解，矩阵 $A$ 必须为方阵，那么如果 $A$ 不是方阵，即行和列不相同时，还可以对矩阵进行分解吗？答案是可以，这就是SVD解决的问题

假设矩阵 $A$ 是一个 $m\times n$ 的矩阵，那么定义矩阵 $A$ 的SVD为：
$A=U\Sigma V^T$

其中 $U$ 是一个 $\times m$ 的矩阵， $\Sigma$ 是一个 $\times n$ 的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值， $V$ 是一个 $\times n$ 的矩阵。 $U$ 和 $V$ 都是酉矩阵，即满足
$U^TU=E\\ ~ \\ V^TV=E$

如何求出SVD分解后的 $U,\Sigma,V$ 这三个矩阵呢？

将 $A$ 的转置和 $A$ 做乘法，那么会得到 $\times n$ 的一个方阵 $A^TA$ 。既然 $A^TA$ 是方阵，就可以进行特征分解，得到的特征值和特征向量满足下式：
$(A^TA)v_i = \lambda_iv_i$

这样就可以得到矩阵 $A^TA$ 的 $n$ 个特征值和对应的 $n$ 个特征向量 $v$ 了，将 $A^TA$ 的所有特征向量组成一个 $\times n$ 的矩阵 $V$ ，就是SVD公式里面的 $V$ 矩阵，一般将 $V$ 中的每个特征向量叫做 $A$ 的右奇异向量

将 $A$ 和 $A$ 的转置做矩阵乘法，那么会得到 $\times m$ 的一个方阵 $A^TA$ ，既然 $A^TA$ 是方阵，就可以进行特征分解，得到的特征值和特征向量满足下式：
$(A^TA)u_i = \lambda_iu_i$
这样就可以得到矩阵 $A^TA$ 的 $m$ 个特征值和对应的 $m$ 个特征向量 $u$ 了，将 $A^TA$ 的所有特征向量组成一个 $\times m$ 的矩阵 $U$ ，就是SVD公式里面的 $U$ 矩阵，一般将 $V$ 中的每个特征向量叫做 $A$ 的左奇异向量