SVD的介绍与原理

一.SVD的介绍

SVD，Singular Value Decomposition ，奇异值分解。PCA的实现一般有两种，一种是用特征值分解，一种是用奇异值分解。

• 优点：简化数据，去除噪声，提高算法的结果
• 缺点：数据的转换可能难以理解
• 适用数据类型：数值型数据

二.奇异值分解的定义

假设$M$是一个$m*n$的矩阵，如果存在一个分解：

$$M_{m*n}=U_{m*m}{\sum}_{m*n}V_{n*n}^T$$
其中， $U,V$为正交矩阵, ${\sum}$只有对角元素，其他元素都是0，而且 ${\sum}$的对角元素是从大到小排列的，这些对角元素称为奇异值，式中
$$\sum=\begin{bmatrix} {\sum}_1&O\\ O&O\\ \end{bmatrix}，且{\sum}_1=diag(\sigma_1,\sigma_2,...,\sigma_r),\sigma_1\ge\sigma_2\ge...\ge\sigma_r\gt0$$
则 $MM^T,M^TM$的奇异值分解为

MMT=U∑VTV∑TUT=U（∑∑T）UT