“降维算法”面试知识点总结-PCA+LDA算法-百面机器学习系列4

提示：在准备机器学习算法工程师面试的过程中，我主要参考《百面机器学习》去巩固自己的基础知识。本系列博客将以该书为主题，并以八股文的方式去概述整本书的内容，以尽量减少读者们的阅读作量，并方便读者可以随时随地的记忆背诵。
建议：我还是认为读者们可以提前买一本《百面机器学习》，从前到后完全看一遍，然后再看我的博客去记忆背诵会更好些哈。

常见的降维方法有主成分分析、线性判别分析、等距映射、局部线性嵌入、拉普拉斯特征映射、局部保留投影等。
在高维的数据中，包含很多的冗余和噪声，可通过降维的方式寻找数据内部的特性，从而提高特征表达能力，降低训练复杂度。

问题1：PCA最大方差理论

1.PCA 属于一种线性、非监督、全局的降维算法。用PCA去防止过拟合是一种特别不好的应用，可能会丢失一些有价值的信息，此外，除非在强有力的证据说明原始数据直接建模效果不好（内存太大或运行太慢），才使用PCA 降维之后再进行建模，一般建议直接使用原始数据建模。
2.PCA最大方差理论
1）降维后每个轴包含的信息就是我们要找到的主成分。
2）在信号处理领域，我们认为信号具有较大的方差，噪声具有较小的方差，信号与噪声之比称为信噪比。信噪比越大意味着数据质量越好，反之，信噪比越小意味着数据质量越差。由此，PCA的目标，即最大化投影方差，也就是让数据在投影轴上更加分散，即让数据在轴上的投影方差保持最大。<