机器学习实战-PCA主成分分析、降维

降维技术

很多时候，原始数据是多维度的，在计算的时候会带来很大的资源开销。而且数据本身有很多的冗余，我们可以去除一些不必要的特征，使得数据简化，降低算法的计算开销。因此需要利用降维技术来实现。

PCA(Principal Component Analysis)主成分分析

在PCA中，数据从原来的坐标系转化到新的坐标系中。当然这里新的坐标系也不是随便设定的，而是应该根据数据本身的特征来设计。通常第一个新坐标轴选择的是原始数据方差最大的方向，第二个坐标轴是与第一个坐标轴正交且具有最大方差的方向。这句话的意思就是，第二个选取的方向应该和第一个方向具有很弱的相关性。如果有很强的相关性的话，那么选其中一个就ok了。然后依此类推，选出后面的方向，其数目应该和原始数据的特征数目一致。
通常我们会发现，大部分的方差就集中在前面几个方向中，因此可以忽略后面的方向，达到降维的效果。
然后书上有这么一段话，介绍实现该过程的伪代码。

看不懂这里的协方差矩阵是啥，为什么是这样子的？
只好从初中数学的方差开始学习了。。。

基本统计学概念

统计学里有几个基本的概念，有均值，方差，标准差等等。比如有一个含有n个样本的集合：$X=\{x_1,...,x_n\}$
那么，
均值：$\overline{X}=\frac{\sum_{i=1}^n{x_i}}{n}$
标准差： s=∑n