降维-多维尺度法（MDS）

多维尺度法（MDS）详解与应用

最新推荐文章于 2023-04-22 23:33:15 发布

原创

最新推荐文章于 2023-04-22 23:33:15 发布 · 8.6k 阅读

32 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #降维 #MDS #多维尺度法 #矩阵分解

本文详细介绍了多维尺度法（MDS），一种数据降维方法，用于重构只知相似性的样本在低维空间的位置。通过距离矩阵D，构建B矩阵并进行特征分解，最终得到样本的低维坐标。scikit-learn提供了MDS的实现，可通过调整n_components参数设置降维维度。

多维尺度法（Multidimensional Scaling，MDS）是一种经典的数据降维方法，是当我们仅能获得样本之间的相似性矩阵时，如何由此来重构它们的欧几里德坐标，即只知道高维空间中的样本之间的距离，基于此重构这些样本在低维空间的相对位置！下面一步一步地介绍MDS的神奇。

一、问题定义

假定 $m$ 个 $n$ 维样本在原始空间的距离矩阵为 $\textbf{D}\in R^{m\times m}$ ，其中第 $i$ 行 $j$ 列的元素 $d_{ij}$ 为样本 $\textbf{x}_i$ 到 $\textbf{x}_j$ 的距离：

D = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ d 11 d 21 ⋮ d m 1 d 12 d 22 ⋮ d m 2 \dots \dots ⋮ \dots d 1 m d 2 m ⋮ d m m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ 0 | | x 2 - x 1 | | ⋮ | | x m - x 1 | | | | x 1 - x 2 | | 0 ⋮ | | x m - x 2 | | \dots \dots ⋮ \dots | | x 1 - x m | | | | x 2 - x m | | ⋮ 0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ .

$\textbf{D}= \left[ \begin{matrix} d_{11} & d_{12} & \ldots & d_{1m} \\ d_{21} & d_{22} & \ldots & d_{2m} \\ \vdots & \vdots & \vdots & \vdots \\ d_{m1} & d_{m2} & \ldots & d_{mm} \end{matrix} \right] =\left[ \begin{matrix} 0 & ||\textbf{x}_1-\textbf{x}_2|| & \ldots & ||\textbf{x}_1-\textbf{x}_m|| \\ ||\textbf{x}_2-\textbf{x}_1||& 0 & \ldots & ||\textbf{x}_2-\textbf{x}_m|| \\ \vdots & \vdots & \vdots & \vdots \\ ||\textbf{x}_m-\textbf{x}_1|| & ||\textbf{x}_m-\textbf{x}_2|| & \ldots & 0 \end{matrix} \right] .$
问题的求解目标是获得样本在

n′ $n^{'}$ 维空间的表示