主成分分析（PCA）和线性判别分析（LDA）

• 参考

PCA：

PCA发挥作用的实例（实践证明）https://www.jianshu.com/p/0227aa77425f

PCA前的数据预处理：去中心，标准化（理论取胜）https://blog.youkuaiyun.com/u010182633/article/details/45918737

训练集和测试集上的做法（操作上的细节）http://wenda.chinahadoop.cn/question/5926

别人的总结https://blog.youkuaiyun.com/viewcode/article/details/8789524

 

LDA：

LDA原理（二分类以及多分类）：https://www.cnblogs.com/jerrylead/archive/2011/04/21/2024384.html

图文代码丰富https://blog.youkuaiyun.com/ruthywei/article/details/83045288

• 总结

PCA：

对高斯分布有效，因为高斯分布不相关就是独立

在做之前需要进行去中心化和标准化（无量纲），因为去中心化后变换就只用正交变换来去相关，后面的推导容易，无量纲化是考虑到量纲会影响方差的大小比较。

PCA后的特征是正交的

PCA挑选的特征只是对于保留所有数据的分散性有用，对于数据分类未必有用，LDA是针对数据分类的

PCA中协方差矩阵的特征值之和，就是所有样本（去中心、标准化后）与中心（即坐标原点）的距离平方和

如果使用到分类中，适合能够用方差分类的数据，如

 

LDA：对于K分类，最多降到K-1维空间上面，并且选出来的特征未必正交

适合使用均值可以区分开的数据