美赛学习日记----DAY3 主成分分析(PCA)

介绍

主成分分析法是一种常见的数据降维技术，旨在通过线性变换将高维数据转化为低维数据，同时尽量保留数据的变异性。其基本原理是通过计算数据的协方差矩阵的特征值和特征向量，选择特征值最大的前k个特征向量作为主成分，将原始数据投影到这些主成分构成的新空间中，从而实现降维。

优缺点

优点

1. 降维效果显著：可以有效地降低数据的维度，从而简化数据的复杂性，方便后续的数据处理和分析
2. 消除冗余信息：可以去除数据中的冗余信息，提取出最重要的特征，提高数据的精度和可靠性
3. 发现隐藏模式：可以发现数据中隐藏的结构和模式，从而提高对数据的理解和解释
4. 提高计算效率：减少特征数量，降低计算复杂度，节省存储空间，尤其在数据集非常大的情况下，可以显著提高计算速度
5. 去噪功能：通过选择方差最大的主成分，忽略方差较小的成分，可以有效去除噪声

缺点

1. 线性假设：PCA假设数据的主成分是线性组合的，对于非线性数据，PCA的效果可能不理想
2. 信息丢失：只保留了数据中的主要成分，而舍弃了一些次要成分，可能会丢失一些重要的信息
3. 可解释性差：由于主成分是原始特征的线性组合，有时很难解释每个主成分的实际意义
4. 对异常值敏感：PCA对异常值敏感，可能会受到异常值的影响
5. 数据标准化需求：PCA对数据的尺度敏感，因此需要先进行标准化处理

建模步骤

假设我们有n个样本，p个指标，则可以构成大小为n * p 的样本矩阵x：