SVD奇异值分解简析

Singular Value Decomposition（SVD，奇异值分解）

1. Full SVD
   矩阵$A_{mn}$，其中m和n不一定相等，可以写成：
   

   $$A_{mn}=U_{mm}S_{mn}V_{nn}$$
   $U_{mm}$由$AA^T$的特征向量构成；
   $V_{nn}$由$A^TA$的特征向量构成；
   $AA^T$和$A^TA$的非零特征值相同，但特征值对应的特征向量不一定相同；

2. Reduced SVD
   矩阵$A_{mn}$，其中m和n不一定相等，可以写成：
   

   $$A_{mn}=U_{mk}S_{kk}V_{kn}$$
   $U_{mk}$由$AA^T$的前k个特征向量构成；
   $V_{kn}$由$A^TA$的前k个特征向量构成；
   其中，k是可配置项，选取前k个信息量最大的维。可以将一个大矩阵分解成三个小矩阵，降低存储和运算，同时保证信息的损失在可控范围之内。语音识别领域对模型进行low-rank处理就是基于此思想。

3. SVD的抽象说明
   ① 进行空间变换，变换后各维信息是独立的，从而更好展示原始数据的区分性；
   ② 对各维信息的重要程度进行排序，从而根据每维信息的重要程度进行针对性的选择，从而达到数据降维的作用。

参考文献：
Singular Value Decomposition Tutorial，Kirk Baker，2013