机器学习——奇异值分解

奇异值分解的计算过程

我们知道奇异值分解的表达式为：
$$A=U\Sigma V^{\mathrm{T}}$$那如何求解$U$、$\Sigma$和$V$这三个矩阵呢？

1. 计算$A^{T}A$的特征值，通过得到的特征值进一步计算得到A矩阵的奇异值；
2. 通过计算得到的奇异值，构造与A矩阵维数相同的矩阵$\Sigma$；
3. 计算$A^{T}A$对应的单位特征向量并按照对应特征值从大到小的顺序构建$A^{T}A$特征向量矩阵$V$，也为A的右奇异矩阵；
4. $U$A的左奇异矩阵为$A{A}^T$所对应的单位特征向量矩阵。

证明：$A^{T}A$的特征值矩阵为奇异值矩阵的平方

证明：假设有$m\ast n$的非方阵矩阵$A$，对其进行奇异值分解的表达式为：$$A=U\Sigma V^{\mathrm{T}}$$其中$U$为$m\ast m$矩阵，$\Sigma$为$m\ast n$对角矩阵，$V$为$n\ast n$矩阵。其中，$U$和$V$为标准正交的酉矩阵（酉矩阵的定义为：令矩阵$U^{\mathrm{T}}U=E$，又因为$U^{-1}U=E$，有$U^{\mathrm{T}}=U^{-1}$，即$U$为酉矩阵。）。左奇异值$U$和右奇异值$V$求解公式见下篇SVD求解方法。

下面开始对问题进行证明：$$A=U\Sigma V^{\mathrm{T}}$$$$A^{\mathrm{T}}=V\Sigma U^{\mathrm{T}}$$由于$\Sigma$为对角矩阵，所以${\Sigma }^{\mathrm{T}}=\Sigma$。
所以
$$A^{T}A=V\Sigma U^{\mathrm{T}}U\Sigma V^{\mathrm{T}}$$$$A^{T}A=V{\Sigma }^2{V}^{\mathrm{T}}$$因为$V$为标准正交的酉矩阵，并且为$A^{T}A$矩阵的特征向量矩阵，所以$V{\Sigma }^2{V}^{\mathrm{T}}$便可以作为计算$A^{T}A$的特征值的计算公式，所以在实数域内，$A^{T}A$的特征值$\Lambda$便为非方阵矩阵$A$的奇异值矩阵的平方。

所以$\Sigma$表现形式如下：$$\Sigma =\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]$$${\Sigma }_1$同样为对角矩阵，具体为${\Sigma }_1=\mathrm{diag}\left({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r\right),r=\mathrm{rank}(A)$，${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r$为$A$矩阵的奇异值（$A^{H}A$的特征值的开方，为什么是$A^H$呢，因为$A^H$是复数域中的$A^T$），并且从大到小排列。

SVD Numpy实现过程

import numpy as np
U, S, Vt = np.linalg.svd(A, full_matrices=True)# A为待分解的矩阵