对训练集和测试集的PCA方法

假如输入的训练集形状为 $$X_1\in R^{n_1\times m}$$
这里$n_1$为训练集样本数，$m$为数据的原始维度。同理，测试集形状为
$$X_2\in R^{n_2\times m}$$
设我们需要的更加紧致的维度为$k$，则需要以下的步骤：

1. 对训练集做均值化，这里是指在每一个维度上计算均值，然后减去均值，即
   $$average(X_1)\in R^{n_1}$$
   $$X_1^j=X_1^j-average(X_1),j=1,2,...,n_1$$
2. 求协方差矩阵 $$C=X_1^T{X}_1/n_1\in R^{m\times m}$$
3. 对 C 做特征值分解，求出最大的k的特征值，以及对应的k个特征向量。按照降序的方式，把特征向量按列排成一个矩阵$$P\in R^{m\times k}$$
4. 对训练集和测试集分别乘上P，得到降维后的数据，即
   $$X_1^{{}^{\prime }}=X_{1}P\in R^{n1\times k}$$
   $$X_2^{{}^{\prime }}=X_{2}P\in R^{n1\times k}$$

谨记：只能对训练集降维，把得到的降维矩阵保留，用于对测试集的降维。这是因为，测试集对我们来说，模型生成之前都是不可知的，所以不能使用任何关于测试集的信息。