PCA算法来简化数据

1.降维技术

        在日常处理数据的时候，数据往往是好多维的，也就是一条数据往往有好多个特征，导致数据处理和分析起来比较麻烦，但是这些特征绝大部分都是非主要的，对数据的处理分析过程起到的作用特别少，但是却大大增加了数据处理的复杂度，所以我们就需要对数据进行降维处理，将多维度的数据减低到适当的低维度，从而达到对数据进行简化的目的。对数据进行简化有如下好处：

1. 使得数据集更易于使用；
2. 降低很多算法的计算开销；
3. 去除噪声；
4. 使得结果更易懂。

        常用的降维技术有：主成分分析（Principal Component Analysis, PCA）、因子分析（Factor Analysis）、独立成分分析（Independent Componenet Analysis,ICA）我们这篇文章主要介绍PCA。

注意：

        我个人是这样理解降维的：所谓的降维，并不是说去掉一些特征，保留一些主要的特征值，然后达到简化数据的目的，而是将数据矩阵按照一定的矩阵变换方式，变换到更低维度的数据形式。变换的方式就是保留原数据矩阵主要的变换方向，这些主要的变换方向决定了原始数据大部分的变化形式，如90%，而这些主要的变换方向可能只占所有变换方向的10%，甚至更少。假设原来是100维，主要的变化方向是10维，那么我们只取这10维的变化，将原来的数据进行降维，然后就将原来的数据降到了10维，数据就简化了好多。

        理解上面的一段话，需要一定的线性代数矩阵的一些基础知识，在下面的PAC算法中，我会通过对特征值，以及特征向量的简单介绍来帮助理解，如果需要更深一步理解则需要自行了解相关的基础知识，建议从特征值和特征向量了解起。文章后面我也会给出几个链接，方便大家更深一步了解。

2.PCA

        本来降维就是一个特别抽象的概念，用画图来理解的话，虽然直观，但是可能也会限制自己的一些想象，所以我不赞成用画图去理解降维的概念。我们先从特征值和特征向量说起。

                                                               

        式1是特征值和特征向量的定义式（这里的特征只单单是相对于A矩阵的特征，和原始数据中的特征没有关系），其中|A|≠0，A是方阵，x是一个向量，也就是特征向量，λ是一个常数，是该特征向量对应的特征值。所以式1中，Ax就可以理解成A沿x方向的变化等于向量x乘以一个常数，这里的x相当于一个单位向量，也就是x变化的一个基，而λ也可以理解为A在x上的一个变化量。

        我们也知道一个m×m的方阵，会有m个线性无关的特征向量，对应有m个特征值，我觉得也可以理解为m个变化的向量基。所以对于方阵A我们可以求解其所有的特征值以及对应的特征向量，然后按照特征值倒序排列，就可以看到排列到最前面的几个λ，往往最前面的几个λ和可以占到多有λ和的90%以上，即前几个λ决定了A的主要变化方向，所以我们就只考虑这些个变换方向上的变化即可。

 

        上面我们对数据进行了降维，只保留了主要的变化方向（维度），也就是说这些维度的变化对数据差异性比较大，反过来也就是说我们也更容易通过这些维度的数据对其进行分类。具体怎么做呢？我们通过数据集的协方差矩阵再加上前面说的特征值分析，我们就可以对数据进行降维，求得这些主成分的值。协方差的计算公式如下：

                                                          

        协方差是衡量特征和特征之间相关性的计算方式，如果有n个特征，那么就会得到一个n×n的一个方阵，这个方阵是一个对角矩阵。一旦得到了协方差矩阵的特征向量，我们就可以保留最大的N（不是方阵的n，只是单纯的最大个前N个数）个值。这些特征向量也给出了N个最重要特征的真实结构，我们可以通过将数据乘上这N个特征向量而将它转换到新的空间。

        注：协方差的特征向量都是正交的，这一点很重要。即这些向量都不能用其他向量表示，从侧面表示这些向量都表示不同的方向，就像我们熟悉的三维坐标中，x,y,z轴，可以表示三维中的任一点，但是他们之间却不能相互表示。

        下面给出PCA算法的基本步骤：

1. 计算原始数据中每个维度的平均值
2. 通过平均值计算协方差矩阵
3. 计算协方差矩阵的特征值和特征向量
4. 将特征值从大到小排列
5. 保留最上面的N个特征值，及其对应的特征向量
6. 将原始数据转换乘以上述N个特征向量构建的新空间中。

3.总结

        上面的一些思考主要是我对PCA降维算法的一些理解，实际上结合具体的例子看更好，下面给出个带有实例的博客，以供更加详细的理解这个PCA原理。

        思考：对于数据降维之后，我们可以对降维之后的数据进行处理，分类什么的，更加方便。我觉得具体测试以及分类的时候，也是要先将待测的数据降维，然后进行分类。个人理解，还没看过一个完整的例子。

        看别人写的，感觉还是别人写的更详细：

        PCA及相关实例：https://blog.youkuaiyun.com/u012421852/article/details/80458340

        特征值及特征向量：https://blog.youkuaiyun.com/qq_32742009/article/details/82217051