【第二章:机器学习与神经网络概述】02.降维算法理论与实践-(3)多维尺度分析（Multidimensional Scaling, MDS）

第二章: 机器学习与神经网络概述

第二部分：降维算法理论与实践

第三节：多维尺度分析（MDS）

内容：距离矩阵、嵌入空间维数选择

---

一、什么是 MDS？

多维尺度分析（MDS） 是一种以“保留样本之间距离关系”为核心的非监督降维方法。它将高维数据投影到低维空间，同时尽量保留样本间的“几何距离（相似性）”。

适用于：

• 数据没有明确标签；

• 你关心的是“样本之间的相似关系”。

---

二、核心思想与数学原理

输入：距离矩阵（Distance Matrix）

假设有 n 个样本，原始维度为 d，你先计算任意两个样本之间的“距离”，形成一个 n×n 的距离矩阵 D。

• 常用距离：欧几里得距离、曼哈顿距离、余弦距离等。

输出：嵌入空间坐标

MDS 找出 n 个样本在一个低维空间（如 2D、3D）中的坐标，使得样本间的几何距离与原始距离矩阵尽可能一致。

---

三、MDS 主要步骤

1. 计算样本之间的距离矩阵 D

2. 使用中心化和特征分解，重构样本在新坐标系下的表示

3. 选择前 k 个最大特征值对应的特征向量，作为降维后的坐标

---

四、Python 示例

from sklearn.datasets import load_iris
from sklearn.manifold import MDS
import matplotlib.pyplot as plt

# 加载数据
iris = load_iris()
X = iris.data
y = iris.target

# MDS 降维
mds = MDS(n_components=2, dissimilarity='euclidean', random_state=42)
X_mds = mds.fit_transform(X)

# 可视化
plt.figure(figsize=(7, 5))
plt.scatter(X_mds[:, 0], X_mds[:, 1], c=y, cmap='Accent', edgecolor='k', s=60)
plt.title("MDS: Iris 数据集二维表示")
plt.xlabel("MDS 1")
plt.ylabel("MDS 2")
plt.grid(True)
plt.show()

 

---

五、与 PCA/LDA 的对比

方法	类型	是否监督	优化目标
PCA	线性	无监督	最大化方差
LDA	线性	有监督	增大类间距、减小类内距
MDS	非线性可选	无监督	保留原始样本间的距离结构

---

六、嵌入空间维数选择

• 通常选择 2 或 3 维用于可视化；

• 若用于后续建模，可选择解释误差最小的维度；

• 应结合目标和误差权衡：维度越多越准确，但不利于解释和计算。

---

七、总结

• MDS 不依赖标签，适合探索数据之间的“相似关系”；

• 可作为可视化工具或前置降维步骤；

• 与 t-SNE、Isomap 一起归类为流形学习方法。