在周志华的《机器学习》第 10 章介绍“主成分分析”一节中,有这样一句批注:
实践中常通过对 XXX 进行奇异值分解来替代协方差矩阵的特征值分解。
下面解释这句话的意思。
首先我们复习一下,将任意形状的矩阵 XXX 如何进行 SVD 分解,其基本思路是构造对称矩阵。
XTX=(VΣTUT)(UΣVT)=VΣT(UTU)ΣVT=VΣTΣVT X^TX = (V \Sigma^T U^T)(U \Sigma V^T)=V \Sigma^T (U^TU) \Sigma V^T=V \Sigma^T \Sigma V^T XTX=(VΣTUT)(UΣVT)=VΣT(UTU)ΣVT=VΣTΣVT
XXT=(UΣVT)(VΣTUT)=UΣ(VTV)ΣTUT=UΣΣTUT XX^T = (U \Sigma V^T)(V \Sigma^T U^T)=U \Sigma (V^TV) \Sigma^T U^T=U \Sigma \Sigma^T U^T XXT=(UΣVT)(VΣTUT)=UΣ(VTV)ΣTUT=UΣΣTUT
这里 XTXX^TXXTX 是协方差矩阵,是一个方阵,并且有:
- VVV 是 XTXX^TXXTX 的特征向量按照列排成的矩阵(按照 XTXX^TXXTX 的特征值从大到小对应排列);
- UUU 是 XXTXX^TXXT 的特征向量按照列排成的矩阵(按照 XXTXX^TXXT 的特征值从大到小对应排列)。
PCA 是对 XXX 的协方差矩阵 XTXX^TXXTX 做特征值分解,即要得到的是矩阵 VVV 。
而 PCA 求出的 VVV 只是坐标旋转以后的新线性空间的标准正交基,降维还得做线性变换,即用矩阵 VVV 右乘,得 XVXVXV ,矩阵 XVXVXV 才是我们关心的降维以后的数据。由 X=UΣVTX=U \Sigma V^TX=UΣVT,可以得到 XV=UΣXV=U \SigmaXV=UΣ,即新线性空间的坐标。
SVD 的经典算法有 Golub-Kahan 算法、分治法、Jacobi 法几种,这些算法其实都比较快,在一些软件底层的实现中,采用的是上述方法中的一种。因此,我们想要的是 VVV,经典算法帮我们快速算出了 VVV,因此就没有必要先算 XTXX^TXXTX,再对其做特征值分解了。这其实就是书上这句批注的意思。