SVD PCA 因子分析

LLE MDS FastMap ISOMAP

SVD

奇异值分解 Singual Value Decomposition，简称SVD

如果一个$n$阶方阵$A$相似于对角矩阵，也就是，如果存在一个可逆矩阵$P$，使得$P^{-1}AP$是对角矩阵，则称矩阵$A$为可对角化矩阵，并且最终对角对角矩阵的特征值就是矩阵$A$的特征值
可逆矩阵$P$是$A$的全部特征向量按列构成的矩阵

设$A$是数域上的一个$n$阶方阵，若在相同的数域上存在另一个$n$阶方阵$B$，使得$AB=BA=E$，那么称$B$为$A$的逆矩阵，而$A$被称为可逆矩阵或非奇异矩阵。如果$A$不存在逆矩阵，那么$A$称为奇异矩阵

$$A=W\Sigma W^{-1}$$
其中$W$是这$n$个特征向量所组成的$n\times n$维矩阵，而$\Sigma$为这$n$个特征值为主对角线的$n\times n$维矩阵。
一般会把$W$的这$n$个特征向量标准话，即满足$||w_i|{|}_2=1$，或者$w_i^T{w}_i=1$，此时$W$的$n$个特征向量为标准正交基，满足$W^{T}W=E$，即$W^T=W^{-1}$，也就是说$W$为酉矩阵。
这样特征分解表达式可以写成
$$A=W\Sigma W^T$$
要进行特征分解，矩阵$A$必须为方阵，那么如果$A$不是方阵，即行和列不相同时，还可以对矩阵进行分解吗？答案是可以，这就是SVD解决的问题

假设矩阵$A$是一个$m\times n$的矩阵，那么定义矩阵$A$的SVD为：
$$A=U\Sigma V^T$$

其中$U$是一个$m\times m$的矩阵，$\Sigma$ 是一个$m\times n$的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，$V$是一个$n\times n$的矩阵。$U$和$V$都是酉矩阵，即满足
$$\begin{gathered} U^{T}U=E \\ {V}^{T}V=E \end{gathered}$$

如何求出SVD分解后的$U,\Sigma ,V$这三个矩阵呢？

将$A$的转置和$A$做乘法，那么会得到$n\times n$的一个方阵$A^{T}A$。既然$A^{T}A$是方阵，就可以进行特征分解，得到的特征值和特征向量满足下式：
$$(A^{T}A)v_i={\lambda }_i{v}_i$$

这样就可以得到矩阵$A^{T}A$的$n$个特征值和对应的$n$个特征向量$v$了，将$A^{T}A$的所有特征向量组成一个$n\times n$的矩阵$V$，就是SVD公式里面的$V$矩阵，一般将$V$中的每个特征向量叫做$A$的右奇异向量

将$A$和$A$的转置做矩阵乘法，那么会得到$m\times m$的一个方阵$A^{T}A$，既然$A^{T}A$是方阵，就可以进行特征分解，得到的特征值和特征向量满足下式：
$$(A^{T}A)u_i={\lambda }_i{u}_i$$
这样就可以得到矩阵$A^{T}A$的$m$个特征值和对应的$m$个特征向量$u$了，将$A^{T}A$的所有特征向量组成一个$m\times m$的矩阵$U$，就是SVD公式里面的$U$矩阵，一般将$V$中的每个特征向量叫做$A$的左奇异向量

$$\begin{gathered} A=W\Sigma W^T \\ AV=U\Sigma V^{T}V \\ AV=U\Sigma \\ A{v}_i={\sigma }_i{u}_i \end{gathered}$$