降维方法：PCA、SVD、LDA、LLE

参考文献：

1.SVD原理与在降维中的应用
2.PCA和SVD傻傻分不清楚？
3.线性代数中，特征值与特征向量在代数和几何层面的实际意义是什么？
4.线性判别分析（Linear Discriminant Analysis）（一）

---

前提：降维的客观必要性

简而言之，这里的分析反映出，高维数据普遍分布较为稀疏，这使得由此直接训练出来的模型将会有很高的风险出现过拟合。因此降维操作并不仅仅从计算量和简化问题的角度考虑的，降维操作本身对于模型泛化能力的提高也是很有必要的。

降维带来的效果：

1.从直接效果来说，当然是降低数据维度，便于计算和加速训练；
2.众所周知“天下没有免费的午餐”，降维所带来的问题就是造成数据一定信息的损失，这会使得系统维护成本上升，系统性能略微降低；因此建议还是尽可能使用原始数据，当计算量出现问题时再考虑降维；

---

一、P