【机器学习】机器学习的基本分类-无监督学习-主成分分析（PCA:Principal Component Analysis）

主成分分析（Principal Component Analysis, PCA）

主成分分析（PCA）是一种常用的降维技术，用于将高维数据投影到低维空间，同时尽可能保留原数据的主要信息（方差）。

---

1. PCA 的核心思想

1. 目标：找到新的坐标轴（主成分），使得数据投影到这些轴上的方差最大化。
2. 主成分：数据的主要变化方向。第一个主成分捕获最多的方差，第二个主成分与第一个正交，捕获剩余的最大方差，依此类推。
3. 降维：选取前 k 个主成分，舍弃次要主成分，达到数据压缩的目的。

---

2. PCA 的步骤

步骤 1：标准化数据

• 数据集的不同特征可能具有不同的量纲和尺度，标准化将每个特征的均值设为 0，标准差设为 1：

其中， 是特征 j 的均值， 是特征 j 的标准差。

步骤 2：计算协方差矩阵

• 协方差矩阵表示各特征之间的线性关系：