线性代数|机器学习-P7SVD奇异值分解

1. 奇异值分解

现在我们用的是一个m行n列的矩阵A，那么我们计算下特征值方程：
$$\begin{array}{c}{A}_{m\times n}{x}_{n\times 1}=\lambda x_{n\times 1};b_{m\times 1}=A_{m\times n}{x}_{n\times 1}\end{array}$$

• 当 $m\ne n$时，$b_{m\times 1}\ne \lambda x_{n\times 1}$,所以当A为长方形矩阵的时候，由于向量大小的原因，我们无法使用$Ax=\lambda x$公式，为了解决如下问题，我们引入奇异值分解SVD。
  $$\begin{array}{c}{A}_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T,U{U}^T=I_{m\times m},V{V}^T=I_{n\times n}\end{array}$$

1.1 SVD求解

假设我们有任意矩阵A，可以得到SVD分解，$A=U\Sigma V^T$,那么我们可以构造对称矩阵进行求解；$U{U}^T=I,V{V}^T=I$
$$\begin{array}{c}A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U(\Sigma {\Sigma }^T)U^T\end{array}$$

• 我们可以把$A{A}^T$看作是矩阵A右乘一个矩阵$A^T$,所以可以得到$A{A}^T$为矩阵A的列向量的线性组合，所以得到的U肯定在A的列向量空间中。这样可以得到$U,\Sigma$
  $$\begin{array}{c}{A}^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V({\Sigma }^T\Sigma )V^T\end{array}$$
• 我们可以把$A^{T}A$看作是矩阵A左乘一个矩阵$A^T$,所以可以得到$A^{T}A$为矩阵A的行向量的线性组合，所以得到的V肯定在A的行向量空间中。这样可以得到$V,\Sigma$
• 最后我们通过验证$Av=\sigma u$来验证 $\sigma$ 的符号。
  -奇异值SVD分解后矩阵向量分布情况如图：
  
• 我们发现，对于矩阵A的分解来说，有部分向量$u_{r+1}\cdots u_m$对于与${\sigma }_{r+1}=\cdots ={\sigma }_n=0$，所以这部分的向量其实是$N(A^T)$零空间向量，所以我们希望更一步进行压缩矩阵，我们本身希望用非零的特征值，具体公式如下：
  $$\begin{array}{c}A{v}_1={\sigma }_1{u}_1,A{v}_2={\sigma }_2{u}_2,\cdots A{v}_r={\sigma }_r{u}_r\end{array}$$
• 整理可得如下：
  $$\begin{array}{c}A[\end{array}$$