讲讲PCA主成分分析

在机器学习的领域中，我们对原始数据进行特征提取，经常会得到高维度的特征向量。在这些多特征的高维空间中，会包含一些冗余和噪声。所以我们希望通过降维的方式来寻找数据内部的特性，提升特征表达能力，降低模型的训练成本。PCA是一种降维的经典算法，属于线性、非监督、全局的降维方法。

    

01

    

             

             

             PCA原理

PCA的原理是线性映射，简单的说就是将高维空间数据投影到低维空间上，然后将数据包含信息量大的主成分保留下来，忽略掉对数据描述不重要的次要信息。而对于正交属性空间中的样本，如何用一个超平面对所有样本进行恰当合适的表达呢？若存在这样的超平面，应该具有两种性质：

• 所有样本点到超平面的距离最近

• 样本点在这个超平面的投影尽可能分开

以上两种性质便是主成分分析的两种等价的推导，即PCA最小平方误差理论和PCA最大方差理论，本篇主要为大家介绍最大方差理论。

 

PCA的降维操作是选取数据离散程度最大的方向(方差最大的方向)作为第一主成分，第二主成分选择方差次大的方向，并且与第一个主成分正交。不算重复这个过程直到找到k个主成分。