降维方法总结

降维方法总结

对降维效果的评价：

比较降维前后学习器的性能

低维可以通过可视化技术来判断降维的效果

 

分类

一、低维嵌入

代表：MDS算法

基本思想：降维的一个基本思想是，降维前后 保证样本点的距离相等，即：原始空间中的距离在低维空间得以保持

MDS算法：

1）通过距离不变的原理，推导出由高维空间距离矩阵D计算低维空间样本的内积矩阵B，

2）对B做特征值分解

3）根据特征值分解的结果，计算出样本的低维空间坐标

——可以理解为，这种算法，对高维和低维空间的映射关系没有关注，只是关注了样本点的距离；新的样本点和高维样本点没有关系，只是计算的距离是相等的

——现实中，一般只要求降维后的距离尽可能的接近，不必严格相等

另外

这种算法要求先计算原始空间中所有样本间的距离，获得距离矩阵，如果样本很多，是不是就不适用了？

另外的方法：

一般来说，欲获得低维子空间，最简单的方法是对原始空间做线性变换（矩阵变换的本质就是空间变换）

Z=W*X    W是变换矩阵

——线性降维方法

 

二、主成分分析（PCA）

如何用一个超平面对所有样本进行恰当的表达？两种思路：

最近重构性

——样本点到这个超平面的距离都足够近

转换矩阵是w，由标准正交基构成，构建一个距离