二、机器学习基础7（PCA）

主成分分析（PCA ）思想

(1）PCA 就是将高维的数据通过线性变换投影到低维空间上去。
(2）投影思想：找出最能够代表原始数据的投影方法。被 PCA 降掉的那些维度只能是那些噪声或是冗余的数据。
(3）去冗余：去除可以被其他向量代表的线性相关向量，这部分信息量是多余的。
(4）去噪声，去除较小特征值对应的特征向量，特征值的大小反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，要保留。
(5）对角化矩阵，寻找极大线性无关组，保留较大的特征值，去除较小特征值，组成一个投影矩阵，对原始样本矩阵进行投影，得到降维后的新样本矩阵。
(6）完成 PCA 的关键是——协方差矩阵。
协方差矩阵，能同时表现不同维度间的相关性以及各个维度上的方差。
协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。
(7）之所以对角化，因为对角化之后非对角上的元素都是 0，达到去噪声的目的。对角化
后的协方差矩阵，对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含
有较大能量(特征值)的维度，其余的就舍掉，即去冗余。

PCA 算法主要优缺点

降维的必要性及目的

降维的必要性：

多重共线性--预测变量之间相互关联。