SVD和PCA详细原理以及联系（包含公式推导）

初始假设

假设$X\in R^{n\times d}$，即为$n$个样本，$d$维的矩阵，将每个数据矢量的条目合并，使得$X_i^T=(X_{i}1,\dots ,X_{i}d)$。 在将这些向量放入数据矩阵之前，我们实际上会减去数据的平均值，即：$$\mu =\frac{1}{n}\sum _{i=1}^n{X}_i=(\sum _{i=1}^n{X}_{i}1,\dots ,X_{i}d{)}^T$$
然后用每一列减去${\mu }^T$，得到零中心向量作为矩阵的行：
X=(X1T−μTX2T−μT…XnT−μT)X = \begin{pmatrix} X_1^T - \mu ^T \\ \\ X_2^T - \mu ^T \\ \ldots \\ \\ X_n^T - \mu ^T \end{pmatrix}X=⎝⎜⎜⎜⎜⎜⎜⎛​X1T​−μTX2T​−μT…XnT​−μT​⎠⎟⎟⎟⎟⎟⎟