流形学习漫谈一：多维缩放(Multiple Dimensional Scaling, MDS)

最新推荐文章于 2024-05-24 07:30:00 发布

dzyha2011

最新推荐文章于 2024-05-24 07:30:00 发布

阅读量3.3k

点赞数

CC 4.0 BY-SA版权

文章标签： MDS算法

本文链接：https://blog.youkuaiyun.com/dzyha2011/article/details/82956603

降维算法是机器学习中的重要一部分，通常用的比较多的算法有线性判别分析(LDA)与主成分分析(PCA)等。在此基础上，还有中算法，即流形学习，在计算机视觉中有着广泛的应用。由于直接计算高维特征空间的距离具有很高的错误率(如图所示，高维空间的距离并不合理)，例如，在现实生活中，计算北京到华盛顿之间的距离，如果直接透过地球内部直接计算两点之间直线距离是不合适的，最好的办法是围绕地球表面，在微小的局部上计算直线距离，然后将所有局部距离加起来才更合理。即高维曲面上的两点距离最好的计算方法是通过计算局部空间近邻距离的方式更为合理。

测地线距离

而在流形学习中，常见的算法有Isometric Mapping(即等度量映射)，局部线性嵌入(Locally Linear Embedding)等，其中在介绍Isometric Mapping算法之前，需要先介绍一下多维缩放算法(MDS)，MDS算法与PCA算法均为降维算法的一种。其主要思想是构造低维空间的内积矩阵，使得该内积矩阵中所表达的任意两点之间的距离与高维空间的相应两点距离相等，然后通过对该内积矩阵进行正交特征值分解，析出两个矩阵相乘(即矩阵与矩阵的转置进行相乘)的形式，获得最终的变换矩阵。

现假设有m个样本的高维空间的距离矩阵为 $D = \{ dis{t_{ij}}|1 \le i,j \le m\} \in {{\rm{R}}^{{\rm{m}} \times {\rm{m}}}}$ ，其中 $dis{t_{ij}}$ 表示样本 $x_i$ 与样本 $x_j$ 之间的距离。而我们的目标是在低维空间的表示 $Z \in R^{d^{'} \times m}$ ， $d^{'}\ll d$ ，同时，还要满足高维空间的对应两个样本点在低维空间之间同样相等，即 $\left \| z_i -z_j \right \| = dist_{ij}$ 。