主成分分析法

目的：高维数据降维（合并带有重复信息的特征，删除带有无效信息的特征）

降维的作用：

1.  避免维度灾难：维度过多导致的精度下降

2.  压缩数据的同时让信息损失最小

3.  利于可视化

信息量衡量指标：方差

步骤

1. 每组特征减去均值

2.计算协方差矩阵

3.计算特征值、特征向量

4.特征值从小到大排列，保留k个最大的特征值

5.根据对应特征向量求新的特征空间

Eg：从二维降到一维

我们知道，PCA是将已存在的特征进行压缩，降维完毕后的特征不是原本的特征矩阵中的任何一个特征，而是通过某些方式组合起来的新特征。通常来说，在新的特征矩阵生成之前，我们无法知晓PCA都建立了怎样的新特征向量，新特征矩阵生成之后也不具有可解释性。新特征虽然带有原始数据的信息，却已经不是原数据上代表着的含义了。因此，以PCA为代表的降维算法是一种特征创造的方法。

所以，PCA一般不适用于探索特征和标签之间的关系的模型（如线性回归等），因为无法解释的新特征和标签之间的关系不具有意义。在线性回归模型中，一般使用特征选择。