机器学习之降维

本周关于降维的学习主要分为五类：PCA、LDA、LLE、tSNE、ISOMAP
来进行学习
首先自己的任务是：tSNE的学习
（一）降维的基本知识点总结
1、降维方法分为线性和非线性降维，非线性降维又分为基于核函数和基于特征值的方法。
（1）线性降维：PCA、ICA、LDA、LFA、LPP
（2）非线性降维方法：①基于核函数的方法：KPCA、KICA、KDA
②基于特征值的方法：ISOMAP、LLE、LE、LPP、LTSA、MVU
或者将降维方法如下图分类：

2、降维的作用：（为什么会有这些作用？）
（1）降低时间的复杂度和空间复杂度
（2）节省了提取不必要特征的开销
（3）去掉数据集中夹杂的噪音
（4）较简单的模型在小数据集上有更强的鲁棒性
（5）当数据能有较少的特征进行解释，我们可以更好地解释数据，是的我们可以提取知识
（6）实现数据的可视化
3、降维的目的
用来进行特征选择和特征提取。
①特征选择：选择重要的特征子集，删除其余特征；
②特征提取：由原始特征形成的较少的新特征。
在特征提取中，我们要找到k个新的维度的集合，这些维度是原来k个维度的组合，这个方法可以是监督的，也可以是非监督的，如PCA是非监督的，LDA是监督的。
4、子集选择
对于n个属性，有2n个可能的子集。穷举搜索找出属性的最佳子集可能是不现实的，特别是当n和数据类的数目增加时。通常使用压缩搜索空间的启发式算法，通常这些方法是典型的贪心算法，在搜索属性空间时，总是做看上去是最佳的选择。他们的策略是局部最优选择，期望由此导致全局最优解。在实践中，这种贪心方法是有效的，并可以逼近最优解。
子集选择的缺点：
5、降维的本质：学习一个映射函数f：x到y。（x是原始数据点的表达，目前最多的是用向量来表示，Y是数据点映射后的低维向