PCA（主成分分析）是一种常用的数据降维方法。通过计算数据的协方差矩阵，找到最大化方差的特征向量，从而减少数据的维度。PCA过程中涉及归一化、计算协方差矩阵、选取特征值和特征向量等步骤，最终目的是找到一组正交基，使得数据在这些基上的投影方差最大，同时保持信息量。通过对协方差矩阵对角化，可以选择出最重要的特征，用于降维。
基本步骤：
（1）对数据进行归一化处理（代码中并非这么做的，而是直接减去均值）
（2）计算归一化后的数据集的协方差矩阵
（3）计算协方差矩阵的特征值和特征向量
（4）保留最重要的k个特征（通常k要小于n），也可以自己制定，也可以选择一个阈值，然后通过前k个特征值之和减去后面n-k个特征值之和大于这个阈值，则选择这个k
（5）找出k个特征值对应的特征向量
（6）将m * n的数据集乘以k个n维的特征向量的特征向量（n * k）,得到最后降维的数据。
要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。
那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。
上文说到，我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。此处，一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值，即：
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
