机器学习之流形学习——基于Scikit-Learn

《Python数据科学手册》笔记

流形学习是一种无监督评估器，使用流形学习评估器希望达成的基本目标是：给定一个高维嵌入数据，寻找数据的一个低维表示，并保留数据间的特定关系。流形学习的产生主要是为了弥补主成分分析（PCA）对非线性关系的数据集处理效果不好的缺陷。

对“流形”的理解：将一张纸弯折或卷起，嵌入三维空间看上去不再是线性，但实际上并不会改变其平面特性，它仍是一个二维流形。

流形法包括：多维标度法（MDS）、局部线性嵌入法（LLE）和保距映射法（Isomap）。

一、多维标度法（MDS）

       流形学习的基本目标是：给定一个高维嵌入数据，寻找数据的一个低维表示，并保留数据间的特定关系。在MDS中，保留的数据是每对点之间的距离。下面我们来解释一下为何要用距离来表示。

       首先画一个“HELLO”文字形状的图像，如图1，将其旋转后，如图2。比较两幅图可知，x,y值改变了，但是数据基本形状还是一样的，这说明x和y值并不是数据间关系的必要基础特征，真正的特征是每个点与数据集中其他点的距离。

 

                                           图1                                                                                  图2 

而表示这种关系 的常用方法是关系（距离）矩阵：对于N个点，构建N*N矩阵，元素（i , j）是点 i 和点 j 之间的距离，画出该矩阵如下：

                                  图3 

根据这个关系（距离）矩阵，MDS算法可以为数据还原出一种可行的二维坐标，这就是MDS的强大之处，还原结果如下：