奇异值分解(SVD)相关知识

VariableX

于 2020-05-26 17:46:44 发布

阅读量705

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习基础文章标签：机器学习人工智能线性代数

本文链接：https://blog.youkuaiyun.com/VariableX/article/details/106361365

奇异值分解(SVD)是一种矩阵因子分解方法，任何m×n矩阵A都可表示为正交矩阵U、对角矩阵Σ及V的乘积。奇异值σi及其对应的左奇异向量U和右奇异向量V有特定关系。SVD在机器学习、数据压缩等领域有广泛应用，其计算过程包括求解ATA的特征值和特征向量等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

奇异值分解的主要思想

奇异值（singular value decomposition, SVD）是一种矩阵因子分解方法。

其主要思想是：任意一个 $m\times n$ 矩阵都可以表示为三个矩阵的乘积（因子分解）形式，即：
$A=U\Sigma V^\mathrm T$
$U\Sigma V^\mathrm T$ 称为矩阵A的奇异值分解，并不要求A为方阵。其中 $U$ 是 $m$ 阶正交矩阵， $V$ 是 $n$ 阶正交矩阵， $\Sigma$ 是由降序排序的非负的对角线元素组成的 $m\times n$ 矩形对角矩阵。且满足：
$U^{\mathrm T} = I \\ V V^{\mathrm T} = I \\ \Sigma = diag(\sigma_1,\sigma_2,\ldots,\sigma_p)\\ \sigma_1 \geq \sigma_2 \geq\ldots\geq\sigma_p \geq0 \\ p = \min(m,n)$
$\sigma_i$ 称为矩阵A的奇异值，U的列向量称为左奇异向量，V的列向量称为右奇异向量。

主要性质

（1）假设矩阵A的奇异值分解为： $A=U\Sigma V^\mathrm T$ ，则以下关系成立：
$A^\mathrm{T}A = (U\Sigma V^{T})^T(U\Sigma V^{T}) = V(\Sigma^T\Sigma)V^T \\ A A^\mathrm{T}= (U\Sigma V^{T})(U\Sigma V^{T})^T = U(\Sigma^T\Sigma)U^T$
说明 $AA^\mathrm{T}$ 和 $A^\mathrm{T}A$