机器学习降维:多维尺度分析 MDS

深度探索:机器学习多维尺度(MDS)算法原理及其应用 多维尺度分析作为一种经典的降维与可视化技术,凭借其保持距离关系的特点,在诸多领域中发挥了重要作用。随着数据科学的发展,MDS与其他现代降维方法(如深度学习驱动的降维)相结合,有望进一步提升大规模、高复杂度数据的分析与理解能力。同时,对MDS算法的理论研究和优化,特别是在非度量MDS的收敛性和稳定性方面,也将有助于扩大其在实际问题中的应用范围。 阅读详情

机器学习降维:多维尺度分析 MDS(超通俗完整版)

在做数据分析、可视化、相似度探索时,我们经常只有样本之间的距离/相似度,却没有原始特征,没法画图、没法降维。MDS(多维尺度分析) 就是专门解决这个问题的神器——只靠距离矩阵,就能还原出低维坐标,完美保留样本间的相对位置。

这篇文章用大白话 + 公式拆解 + 实战代码 + 对比总结,把 MDS 讲得通俗易懂,本科生、研究生都能轻松掌握。


一、先看懂:MDS 到底是什么?

1. 一句话理解 MDS

MDS = 只看距离,还原位置
给定一堆样本之间的距离/相似度,MDS 能把它们“摆”到二维/三维平面上,让低维距离 ≈ 原始距离,从而可视化样本关系。

2. 超通俗例子

你只有 5 种饮料的相似度:

  • 可乐 ↔ 雪碧:很像(距离近)
  • 牛奶 ↔ 咖啡:不像(距离远)
  • 橙汁:在中间

MDS 能直接把这 5 个点画在平面图上,谁近谁远一目了然。

3. MDS 核心目标

不关心原始特征长什么样,只保留样本间的相对距离关系。


二、MDS 核心思想(极简版)

  1. 输入:距离矩阵 D(n×n,记录每两个样本的距离)
  2. 处理:把距离矩阵转为内积矩阵 B
  3. 求解:对 B 做特征分解,得到低维坐标
  4. 输出:低维空间坐标,让欧氏距离尽量等于原始距离

三、经典 MDS 数学原理(一步步讲透)

1. 核心公式(必须看懂)

原始距离平方与内积的关系:
∥xi−xj∥2=bii+bjj−2bij\|x_i - x_j\|^2 = b_{ii} + b_{jj} - 2b_{ij}∥xi​−xj​∥2=bii​+bjj​−2bij​

通过双重中心化,从距离矩阵恢复内积矩阵:
B=−12HD(2)HB = -\frac{1}{2} H D^{(2)} HB=−21​HD(2)H

  • H:中心化矩阵
  • D²:距离平方矩阵
  • B:内积矩阵(Gram 矩阵)

2. 特征分解求坐标

对 B 做特征分解:
B=QΛQTB = Q \Lambda Q^TB=QΛQT

取前 p 个主成分,得到低维坐标:
Xp=QpΛp1/2X_p = Q_p \Lambda_p^{1/2}Xp​=Qp​Λp1/2​


四、MDS 标准算法流程(背诵版)

输入:距离矩阵 D、目标维度 p

  1. 计算距离平方矩阵 D²
  2. 构造中心化矩阵 H
  3. 计算内积矩阵 B
  4. 对 B 做特征值分解
  5. 取前 p 个特征值与特征向量
  6. 输出低维坐标 X

五、MDS 两种类型

1. Metric MDS(经典 MDS)

  • 假设距离是欧氏可表示的
  • 用矩阵分解求解,速度快、结果稳定
  • 本文重点讲解

2. Non-metric MDS

  • 只保序关系(谁近谁远),不保真实距离
  • 适合评分、排序类数据

六、实战代码:文本相似度 MDS 可视化(可直接运行)

我们用文本 TF-IDF + 余弦距离做 MDS 降维,直观展示文本相似度。

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics import pairwise_distances
from sklearn.preprocessing import MinMaxScaler
from sklearn.manifold import MDS

# 1. 构造语料(科技、健康、商业)
corpus = [
    "Apple unveils new iPhone with better battery life",
    "Microsoft launches Windows update with new features",
    "Google announces new AI chip for faster performance",
    "Tesla releases new electric car model with longer range",
    "Amazon reports record profits in Q4",
    "Facebook changes name to Meta to reflect metaverse vision",
    "New study shows benefits of regular exercise",
    "Health experts warn about new flu variant",
    "Research reveals link between sleep and mental health",
    "Nutritionists recommend more fiber in daily diet"
]

labels = [
    "Apple", "Microsoft", "Google", "Tesla", "Amazon",
    "Meta", "Exercise", "Flu", "Sleep", "Diet"
]

# 2. TF-IDF 向量化
vec = TfidfVectorizer(stop_words='english')
tfidf = vec.fit_transform(corpus)

# 3. 计算余弦距离矩阵
dist_mat = pairwise_distances(tfidf, metric='cosine')

# 4. MDS 降维
mds = MDS(
    n_components=2,
    dissimilarity='precomputed',
    random_state=42,
    n_init=10,
    max_iter=500
)
coords = mds.fit_transform(dist_mat)
coords = MinMaxScaler().fit_transform(coords)

# 5. 可视化
plt.figure(figsize=(10, 8))
palette = sns.color_palette("bright", len(labels))
for i, label in enumerate(labels):
    plt.scatter(coords[i,0], coords[i,1], color=palette[i], s=200, edgecolors='black')
    plt.text(coords[i,0]+0.01, coords[i,1]+0.01, label, fontsize=12)

plt.title("MDS 文本相似度可视化(余弦距离)", fontsize=14)
plt.xlabel("MDS Dim 1")
plt.ylabel("MDS Dim 2")
plt.grid(True)
plt.show()

结果说明

  • 科技类(Apple、Google、Microsoft)聚在一起
  • 健康类(Sleep、Diet、Flu)聚在一起
  • 距离越近 → 语义越相似

七、MDS 优缺点(面试高频)

✅ 优点

  1. 只需要距离矩阵,不需要原始特征
  2. 支持任意距离:余弦、曼哈顿、自定义距离都行
  3. 保留全局几何结构,适合关系展示
  4. 几何直观、解释性强,适合做报告可视化
  5. 非线性适用,不要求数据线性

❌ 缺点

  1. 计算量大:复杂度 O(n²),大数据跑不动
  2. 对噪声/异常值敏感
  3. 局部结构弱,不如 t-SNE/UMAP 聚类清晰
  4. 不支持增量学习,新样本要重新训练

八、MDS vs PCA vs t-SNE vs UMAP(超级对比)

算法核心思想保留结构输入复杂度适用场景
MDS距离保持全局距离距离矩阵高 O(n²)小样本、关系可视化
PCA方差最大全局线性原始特征低线性降维、去冗余
t-SNE概率匹配局部聚类原始特征高聚类可视化
UMAP拓扑保持全局+局部原始特征低 O(nlogn)大数据、通用可视化

九、什么时候用 MDS?什么时候不用?

✅ 推荐用 MDS

  • 只有距离/相似度,没有原始特征
  • 样本量小(几十~几百)
  • 需要保留全局相对位置
  • 做报告、图谱、关系可视化
  • 使用自定义距离(文本、图、序列)

❌ 不推荐用 MDS

  • 样本量 > 2000 → 用 UMAP
  • 重点看局部聚类 → 用 t-SNE/UMAP
  • 需要高速、大规模 → 用 PCA
  • 需要增量更新 → 用 UMAP

十、MDS 使用技巧

  1. 距离矩阵必须对称、非负
  2. 调大 n_init 避免局部最优
  3. 数据先标准化再算距离
  4. 用**应力值(Stress)**评估质量:越小越好
  5. 大数据先用 PCA 预降维

十一、总结(一句话记住 MDS)

MDS 是“距离还原神器”,只靠样本间距离就能生成低维可视化,完美保留全局相对位置,特别适合小样本、相似度分析、关系图谱场景,是数据分析与可视化必备工具。

【机器学习】非线性降维、流形学习的基本概念、如何选择合适的非线性降维方法以及非线性降维的流形学习实例(含python代码) 流形学习方法通常对数据的局部结构很敏感,并且可能不适用于所有类型的数据,它们可能不如其他降维技术(如主成分分析PCA)那样高效,尤其是在处理大规模数据集时如果数据呈现出明显的流形结构,则LLE、Isomap或LE可能是合适的选择如果目标是数据可视化,t-SNE通常能提供非常好的效果总的来说,非线性降维是处理复杂高维数据的有力工具,但需要根据具体情况进行适当的选择和调整,每种方法都有其优势和局限性,适用于不同的数据特性和应用场景。 阅读详情

相关推荐

机器学习C9笔记:MDS聚类可视化

MDS简介MDS是一个统计技术集合,用于可视化地描述距离集合中的相似性和差异性.对于经典的MDS的处理过程包括:输入一个包含数据集中任意两个数据点之间距离的距离矩阵,返回一个坐标集合,这个集合可以近似反应每对数据点之间的距离.之所以说是近似反应,是因为在二维空间中很可能不存在被一组距离分开的点集. 例如: 3个彼此之间距离都是1的点,是一个等边三角形的顶点.因此,不可能另外一个点到这个三角形的三个顶

陈陈的专栏 5498

当MDS遇见机器学习:非线性降维技术的进化之路

本文探讨了多维尺度分析(MDS)在机器学习中的应用,详细介绍了MDS的核心技术、与深度学习的协同进化、现代降维算法对比及推荐系统中的实战案例。MDS作为一种非线性降维技术,能够有效揭示高维数据的内在结构,为数据科学家提供强大的可视化工具。

weixin_29053695的博客 297

18、多维尺度分析(MDS)的原理、方法及应用

本博文系统介绍了多维尺度分析(MDS)的原理、方法及其扩展应用。内容涵盖度量MDS与非度量MDS的基本思想,重点解析了EOFs与MDS的关系、非欧几里得相异矩阵的处理、MDS的不变性特性、以及非度量MDS中的应力函数与单调回归方法。此外,还探讨了MDS的多种扩展形式,如重复MDS、加权MDS、ISOMAP等非线性方法,并结合实际案例(如亚洲季风分析)展示了其应用价值。博文还讨论了MDS方法的局限性及优化策略,为不同场景下的数据分析提供了方法选择指导。

gold8的专栏 177

《Python 应用机器学习:代码实战指南》笔记16 解密机器学习核心降维方法:多维尺度分析(MDS)深度解读与实践

多维尺度分析是一种通过保持原始数据之间的距离关系,将高维数据映射到低维空间的技术。这个过程强调的不是特征本身的数值,而是各个数据点之间距离或相似度的关系。只要我们知道每对数据点之间距离是多少,MDS 就能根据这些距离构建出在二维或三维空间的展示图。维基百科换句话说,它回答了一个关键问题:在低维空间中,数据点彼此之间的相对关系还能保持真实吗?理解数据间的真实关系,而不是特征值的内部结构;在可视化维度里重构数据间的距离与相似度;将复杂高维数据转换成直观图形展示;那么 MDS 是一个不可或缺的工具。

感谢阅读 1360

64、降维算法:多维尺度分析及典型算法详解

本文详细介绍了多维尺度分析(MDS)及其主要类型,包括经典MDS、度量与非度量MDS以及广义MDS,并通过实例演示了经典MDS的计算过程。文章进一步讲解了多种典型降维算法,如Isomap、LLE、SNE和t-SNE的核心思想、数学原理及优缺点,对比了各算法在不同类型数据上的适用场景。最后提供了算法选择建议和在图像识别、基因分析、推荐系统等领域的应用案例,帮助读者全面理解并合理应用降维技术。

postgres8guard的博客 114

深入探索MDS降维技术与应用实践

本文还有配套的精品资源,点击获取 简介:本文深入探讨数据降维技术,特别是多维尺度(MDS)方法及其在数据分析和机器学习领域的应用。文章将解析MDS的核心思想,即通过保持数据点间相似度或距离关系来构建低维空间映射。同时,文章将涉及数据降维的重要性、常见方法如PCA、LDA,以及如何利用欧式距离进行有效的降维。此外,还将通过分析MATLAB代码示例“MDS1.m”和“MDS2....

weixin_26805451的博客 1924

【第二章:机器学习与神经网络概述】02.降维算法理论与实践-(3)多维尺度分析(Multidimensional Scaling, MDS)

本文介绍了多维尺度分析(MDS)这一无监督降维方法,其核心是通过保留样本间距离关系将高维数据投影到低维空间。文章详细阐述了MDS的基本原理、数学实现步骤及其与PCA/LDA的区别,并提供了Iris数据集的Python应用实例。MDS适用于数据可视化探索和保留相似性关系的降维任务,用户可根据需求选择2-3维进行展示或选取解释误差最小的维度。文章还给出了完整的代码示例,展示了如何用MDS对Iris数据集进行二维可视化呈现。

IT古董 688

MDS降维原理与实战:从距离矩阵到流形保持

多维尺度分析(MDS)是一种基于成对距离的无监督降维方法,其核心原理是通过双中心化与特征分解,在低维空间中重构原始样本间的几何关系。相比PCA的坐标驱动范式,MDS更关注距离保真性,天然适配非线性流形、异构相似度及领域定制距离度量。技术价值体现在结构鲁棒性高、无需原始坐标、支持任意距离定义;典型应用场景包括瑞士卷等流形数据展开、电影/用户相似性可视化、模型决策边界稳定嵌入以及数据质量诊断(如stress曲线分析)。本文详解经典MDS三步推导、sklearn参数物理含义及五大实操避坑要点,覆盖距离构造、负特征

weixin_29046611的博客 292

【机器学习】降维系列算法(PCA、LDA、NMF、LLE)

降维(Dimensionality Reduction)是机器学习中用来减少数据集特征数量的技术,其目的是在尽可能保留原始数据信息的同时降低数据的复杂度。降维不仅可以加速模型训练、减少计算资源消耗,还能帮助消除噪声、提高模型性能,并且有助于可视化高维数据。PCA 是一种线性降维方法,它通过找到一组新的正交基(主成分),将原始数据投影到这些新轴上。新的坐标系中的每个维度都是原始变量的线性组合,且各维度之间相互独立。PCA的目标是在尽可能少的维度上保留尽可能多的数据方差。

专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发 1万+

ENSP:小型企业网络拓扑设计

包含的技术:ospf、dhcp中继、ac+ap、vrrp+mstp、acl、浮动路由、静态路由、vlan划分

weixin_45921302的博客 1万+

轨迹规划——带抛物线过渡的直线插补

带抛物线过渡的直线插补

doudou2weiwei的博客 1986

机器学习之三:降维技术

机器学习之三:降维技术 1. 基本概念机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式。y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的)。f可能是显式的或隐式的、线性的或非线性的。 2. 降维的作用 降低时间和空间复杂度 节省了提取不必要特征的开销 去掉数据集中夹杂的噪声 较简单的模型在小数据集上有更强的鲁棒性 当数据能有较少的

风信子的猫Redamancy的快乐星球 8623

自适应滤波算法综述

自适应滤波算法综述

xdzhujy的博客 5万+

数据降维方法汇总

数据降维的应用:①降低数据的存储量;②加快机器学习的速度;③数据可视化 数据降维的本质: 方差 PCA(主成分分析) 简介:principal component analysis, 原理:对于一个未知的系统,我们假设它有n个参数。我们想要求出那些参数最重要,而把不重要的参数给抹掉,从而降低参数向量的维数。PCA的问题其实是一个基的变换,使得变换后的数据有着最大的方差。 算法过程: 1)对于一个

RuDing的博客 3747

【python3.7】解决报错 error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++

解决pip安装py7zr遇到的报错问题。

水w的博客 3945

自动驾驶算法/规划决策控制算法面经汇总、学习路线、面经心得

自动驾驶算法学习路线,面试求职大全

qq_41667348的博客 1万+

一、降维——机器学习笔记——降维(特征提取)

目录  一、为什么要降维 1、降维的分类 2、示例 二、第一部分,线性降维方法   1、【PCA】主成分分析 2、【LDA】判别分析 3、【MDS】多维尺度分析 三、第二部分,非线性降维方法 1、【流形学习】 2、【ISOMAP】等距特征映射 3、【LLE】局部线性嵌入 四、总结什么时候使用哪种降维技术  一、为什么要降维 维数灾难:在给定精度下,准确地对某些变量的函数...

Nicole的博客 2万+

【git】git: ‘interpret-trailers’ is not a git command. See ‘git --help’

cents 7.6系统. yum源安装git最新版本是1.8.3 报错: git: 'interpret-trailers' is not a git command. See 'git --help'. cannot insert change-id line in .git/COMMIT_EDITMSG 解决: git add xxx git commit -m "xxx" 然后修改 vim .git/hooks/commit-msg #if test -n "${reviewurl}" ; th

machh的专栏 4760

机器学习入门三(无监督学习中的降维算法)

用wine数据集介绍并且了实践了主成分分析(PCA)、核主成分分析(KPCA)、t-SNE、MDS算法

weixin_73161549的博客 1499

Vue3 - 超详细“纯前端“将文件上传到阿里云OSS对象存储,最新阿里云前端直传音频、视频、图片、文件、office文档等任意文件,vue3单个或批量从本地选择文件,秒传到阿里云oss无需后端接口!

vue3,阿里云oss存储,前端直传oss,上传图片/office文档/音视频/zip压缩包到阿里云oss,项目中上传文件到阿里云oss详细教程,如何将本地文件上传到阿里云OSS存储,纯前端实现阿里云OSS上传,纯前端直传至阿里OSS对象存储教程,如何解决上传文件到阿里云OSS本地环境调试出现跨域问题,直传阿里云oss跨域报错解决,前端直接上传文件到oss服务端,不经过后端直传,浏览器直接上传文件,阿里云oss上传sdk官方文档,阿里云错误,解决这个问题,上传很慢,一直签名失败,权限,不经过后端,纯前端直传

🏆 前端领域优质创作者 1万+

双向升压和降压的DC-DC转换器设计

c复制// 类型定义与常量MODE_FORWARD_BOOST, // 正向升压模式(输入700V→输出1200V)MODE_FORWARD_BUCK, // 正向降压模式(输入700V→输出<700V)MODE_REVERSE_BOOST, // 反向升压模式(输入1200V→输出700V)MODE_REVERSE_BUCK // 反向降压模式(输入<700V→输出700V)// 硬件参数float Vin;// 输入电压(0-1200V)

568

MDS(multidimensional scaling)多维尺度分析

大家一般想到降维,就自然想到一种方法PCA,其实还有一种方法MDS(multidimensional scaling),可以获得样本间的相似性的空间表达。 先说说这两种方法的相似处,PCA是把观察的数据用较少的维数来表达,这点上两种方法的相似的;两种方法的不太之处在于,MDS利用的是成对样本间相似性,目的是利用这个信息去构建合适的低维空间,是的样本在此空间的距离和在高维空间中的样本间的相似性尽可

迭代的是人,递归的是神 7万+

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

转:机器学习中降维的十个技巧

前言 由于“维度灾难”(curse of dimensionality)的存在,很多统计方法难以应用到高维数据上。虽然收集到的数据点很多,但是它们会散布在一个庞大的、几乎不可能进行彻底探索的高维空间中。 在分析高维数据时,降维(Dimensionality reduction,DR)方法是我们不可或缺的好帮手。 通过降低数据的维度,你可以把这个复杂棘手的问题变得简单轻松。除去噪音但保存了所关注信息...

Zack的博客 4426

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

阅读笔记:《机器学习》西瓜书(10)——降维与度量学习

降维与度量学习k近邻学习低维嵌入MDS算法主成分分析核化线性降维KPCA流形学习等度量映射局部线性嵌入度量学习 降维是一种常用的数据预处理方法。由于降维事实上是高维空间在低维空间上的投影,一般情况下可以使用线性映射做到这一点。而线性映射又可以用矩阵进行表示,本章也出现了大量的线性代数相关的概念和公式,包括特征值、特征向量、对角化、正交变换、迹等等。理解这些概念的定义和实际意义对本章的学习有很大的好处。这里推荐学习李宏毅老师线性代数课程的相关章节。 k近邻学习 k近邻学习(简称kNN)是一种常用的监督学习方法

Tremendous_ED的博客 777

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

TomatoSCI分析日记——降维降的是什么?

降维(Dimensionality Reduction),顾名思义,是在不显著损失信息的前提下,把数据从高维空间压缩到低维空间的过程。简单理解:把“复杂问题”转化成“可解释的核心变量”,让你更容易看见数据背后的结构。为什么我们要降维?📉 变量太多导致共线性严重(建模不稳定)📊 可视化困难(无法在二维、三维图上展示数据关系)🧠 信息冗余(多个变量重复表达同一概念)🛠️ 算法负担重(尤其在机器学习中,“维度灾难”是常见问题)科研中的降维,不是炫技,而是高维复杂问题中最值得掌握的洞察工具之一。

qq_44684643的博客 2129
上一篇: 机器学习非线性降维:Isomap 等距映射
下一篇: 机器学习非线性降维:核PCA(Kernel PCA)
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值