SVD和PCA详细原理以及联系（包含公式推导）

最新推荐文章于 2025-06-03 20:27:29 发布

超月半ʘᴗʘ

最新推荐文章于 2025-06-03 20:27:29 发布

阅读量2.6k

点赞数 8

CC 4.0 BY-SA版权

文章标签： PCA SVD 主成分分析奇异值分解原理公式

本文链接：https://blog.youkuaiyun.com/weixin_43786013/article/details/88916948

本文详细介绍了主成分分析（PCA）和奇异值分解（SVD）的原理，包括初始假设、PCA如何最大化方差、SVD的几何意义。PCA通过找到协方差矩阵S的特征向量来实现数据降维，而SVD可对任何矩阵进行分解，提供了一组旋转和缩放后的坐标轴。两者间存在联系，PCA可视为SVD的一种应用，SVD提供了一种更全面的矩阵分解方式，可用于实现PCA。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

初始假设

假设 $\in R^{n \times d}$ ，即为 $n$ 个样本， $d$ 维的矩阵，将每个数据矢量的条目合并，使得 $XiT=(Xi1,…,Xid)X_i^T = (X_i1, \ldots, X_id)$ 。在将这些向量放入数据矩阵之前，我们实际上会减去数据的平均值，即： $μ=1n∑i=1nXi=(∑i=1nXi1,…,Xid)T\mu = \frac{1}{n} \sum_{i=1}^n X_i = (\sum_{i=1}^n X_i1, \ldots, X_id)^T$
然后用每一列减去 $μT\mu^T$ ，得到零中心向量作为矩阵的行：
$\begin{pmatrix} X_1^T - \mu ^T \\ \\ X_2^T - \mu ^T \\ \ldots \\ \\ X_n^T - \mu ^T \end{pmatrix}$