机器学习非线性降维:Isomap 等距映射

浅谈流形学习之Isomap算法 1.流形学习基本概念 “maniflod”在英文中作为动词的原意为复写,使多样化。中文译法出自文天祥的“天地有正气,杂然赋流形”,虽然初识不太好理解,但讲究一个文采飞扬。此外,“mani-”表示多,“fold”有折叠的意思,可简单理解为由多个面叠加而成。“manifold”在日文中就翻译为多样体,较为符合原意。流形学习(manifold learning)是一类借鉴了拓扑流形概念的降维方法。按照数学中的定义,流形是指在局部与欧式空间同胚的空间,即它在局部具有欧式空间的性质,能够适用欧式距离进行距离计算。 阅读详情

机器学习非线性降维:Isomap 等距映射(超通俗完整版)

在机器学习降维中,PCA 只能处理线性数据,遇到像“瑞士卷”一样卷曲、折叠的非线性流形数据时完全失效。而 Isomap(等距映射) 就是专门解决非线性流形降维的经典算法,能把“卷起来的数据”完美摊平,同时保留真实距离。

这篇文章用大白话 + 原理拆解 + 实战代码 + 对比总结,把 Isomap 讲得通透易懂,本科生、研究生都能轻松掌握


一、先看懂:为什么要用 Isomap?

1. PCA 搞不定的场景

想象一个三维瑞士卷(Swiss Roll)数据:

  • 空间中两点直线距离很近,但沿着曲面实际距离很远
  • PCA 用线性投影,会直接把卷起来的部分压在一起
  • 完全破坏数据原本的结构

2. Isomap 一句话定位

Isomap = 保留流形测地距离的非线性降维
核心:不看直线距离,只看沿数据曲面的最短路径距离,把卷曲数据摊平,且尽量不扭曲真实距离。


二、Isomap 核心思想(超通俗)

Isomap 做的事情非常直观:

  1. 找邻居:每个点只和附近的点相连
  2. 算弯路:用图最短路径近似流形测地距离
  3. 摊平面:用 MDS 把距离矩阵转成低维坐标

一句话总结:
用邻域图模拟流形 → 用最短路径模拟真实距离 → 用 MDS 降到低维


三、Isomap 算法三步彻底讲透

第一步:构建邻域图(连接“附近的点”)

目的:只保留局部真实连接,切断跨曲面的虚假直线连接。

两种邻域方式:

  • K 近邻(最常用):每个点连最近的 K 个点
  • ε 半径邻域:每个点连半径 ε 内的所有点

规则:

  • 相连的边权重 = 欧氏距离
  • 不相连 = 无穷大

第二步:计算测地距离(最短路径)

流形上的真实距离 = 沿曲面走的测地距离
Isomap 用图最短路径近似它:

  • 算法:Dijkstra 或 Floyd-Warshall
  • 输出:n×n 测地距离矩阵

这一步是 Isomap 最关键的创新:
把非线性流形距离,变成图上可计算的最短路径

第三步:经典 MDS 降维

MDS(多维标度):
只根据距离矩阵,还原出低维坐标
让低维欧氏距离 ≈ 高维测地距离,保持全局几何结构不变。


四、Isomap 完整算法流程(标准背诵版)

输入:高维数据 X,目标维度 d,邻居数 k
输出:低维嵌入坐标 Y

  1. 计算所有点对欧氏距离
  2. 构建 k 近邻图,得到权重矩阵
  3. 用最短路径算法计算测地距离矩阵 D
  4. 对 D 做平方、双中心化得到 Gram 矩阵 B
  5. 对 B 做特征值分解
  6. 取前 d 个特征值与特征向量,构造低维嵌入 Y

五、关键概念:测地距离是什么?

  • 欧氏距离:空间直线距离(会误导非线性数据)
  • 测地距离:沿数据所在曲面的最短路径(真实距离)
  • Isomap 贡献:用图最短路径近似测地距离

六、实战代码:Swiss Roll 降维(可直接运行)

我们用最经典的瑞士卷数据集,完整演示 Isomap 降维、可视化、参数调优。

# 1. 导入工具库
import numpy as np
import matplotlib.pyplot as plt
from sklearn import manifold, datasets
from sklearn.metrics import pairwise_distances

# 2. 生成瑞士卷数据
n_samples = 1500
X, color = datasets.make_swiss_roll(n_samples=n_samples, noise=0.05, random_state=42)

# 3. 绘制原始 3D 数据
fig = plt.figure(figsize=(8,6))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(X[:,0], X[:,1], X[:,2], c=color, cmap='rainbow', s=5)
ax.set_title('Original 3D Swiss Roll')
plt.show()

# 4. Isomap 降维
n_neighbors = 10
n_components = 2
isomap = manifold.Isomap(n_neighbors=n_neighbors, n_components=n_components, n_jobs=-1)
X_iso = isomap.fit_transform(X)

# 5. 绘制降维结果
plt.figure(figsize=(8,6))
plt.scatter(X_iso[:,0], X_iso[:,1], c=color, cmap='rainbow', s=10)
plt.title(f'Isomap 降维结果 (k={n_neighbors})')
plt.xlabel('Component 1')
plt.ylabel('Component 2')
plt.show()

# 6. 残差方差 —— 选择最优 k
def residual_variance(X, X_emb):
    d1 = pairwise_distances(X).flatten()
    d2 = pairwise_distances(X_emb).flatten()
    r = np.corrcoef(d1, d2)[0,1]
    return 1 - r**2

k_list = range(5, 21)
res_list = []
for k in k_list:
    iso = manifold.Isomap(n_neighbors=k, n_components=2, n_jobs=-1)
    Xk = iso.fit_transform(X)
    res_list.append(residual_variance(X, Xk))

plt.figure(figsize=(8,6))
plt.plot(k_list, res_list, marker='o')
plt.title('残差方差 vs 邻居数 k')
plt.xlabel('n_neighbors')
plt.ylabel('Residual Variance')
plt.grid(True)
plt.show()

# 7. 使用最优 k 重新降维
best_k = k_list[np.argmin(res_list)]
iso_best = manifold.Isomap(n_neighbors=best_k, n_components=2, n_jobs=-1)
X_best = iso_best.fit_transform(X)

plt.figure(figsize=(8,6))
plt.scatter(X_best[:,0], X_best[:,1], c=color, cmap='rainbow', s=10)
plt.title(f'Isomap 最优结果 (k={best_k})')
plt.show()

运行结果说明

  • 原始 3D 瑞士卷呈卷曲带状
  • Isomap 能完美展开成平面,颜色连续不混乱
  • 残差方差越低:降维后距离保留越好
  • 最优 k 一般在 7~12 之间

七、Isomap 优缺点(面试高频)

✅ 优点

  1. 非线性流形神器:完美展开瑞士卷、球面等弯曲数据
  2. 保留全局结构:保持整体几何与测地距离,不扭曲
  3. 理论扎实:邻域图 → 最短路径 → MDS,步骤清晰可解释
  4. 参数少:只需调邻居数 k,易上手

❌ 缺点

  1. 计算量大:最短路径 + MDS 是 O(n³),大数据很慢
  2. 对噪声/异常值敏感:容易形成伪连接,破坏距离
  3. 依赖图连通性:k 太小图不连通,k 太大退化成 PCA
  4. 不擅长局部细节:侧重全局,局部密集区域可能失真

八、Isomap 与主流降维算法对比

算法核心思路保留结构复杂度适用场景
PCA线性方差最大化全局线性低线性数据、快速降维
Isomap测地距离 + MDS全局流形高 O(n³)中小规模非线性流形
LLE局部线性重构局部结构中局部聚类、流形学习
t-SNE概率分布匹配局部聚类高可视化、聚类展示
UMAP拓扑图嵌入全局+局部低 O(nlogn)大数据、通用可视化

九、什么时候用 Isomap?什么时候不用?

✅ 推荐用 Isomap

  • 数据是强非线性流形(瑞士卷、球面、螺旋)
  • 必须保留全局几何与测地距离
  • 样本量几千以内,能接受较高计算量
  • 科研/教学需要可解释、可追踪的降维过程

❌ 不推荐用 Isomap

  • 数据百万级大规模 → 用 UMAP
  • 重点是局部聚类可视化 → 用 t-SNE
  • 数据噪声多、异常点多 → 先降噪再用 UMAP/LLE
  • 简单线性数据 → 用 PCA 更快

十、Isomap 使用必知技巧

  1. 必须调优邻居数 k:用残差方差找最低点
  2. 数据先标准化,避免量纲影响距离
  3. 大数据用 Landmark Isomap 加速
  4. 图不连通时增大 k
  5. 可先用 PCA 预降维,再用 Isomap 提升速度

十一、总结(一句话记住 Isomap)

Isomap 是经典非线性流形降维算法,通过邻域图 + 最短路径近似测地距离 + MDS,把卷曲高维数据完美摊平,最大程度保留全局几何结构,是学习非线性降维必须掌握的核心方法。

等度量映射(Isometric Mapping,简称Isomap) 等度量映射(Isometric Mapping,简称Isomap) 1 绪论 在MDS中已经说明了为何要进行降维。而进行降维的一般有两类方法:特征选择和特征提取。 特征选择:根据一定的标准学则显著特征 特征提取:通过对所有特征进行变换来获取精简的特征集 对于降维方法中,经典的线性方法(例如主成分分析,PCA)存在一些不足,即无法发现螺旋的一维结构。Isomap就是处理此类问题的一种经典的非线性学习方法。 2 等度量映射 等度量映射(Isometric Mapping,Isomap)的基本观点同MDS 阅读详情

相关推荐

【自学笔记】等距映射(Isomap)

等距映射(Isomap,Isometric Mapping)是一种非线性降维算法,属于流形学习方法,用于在保留高维数据几何结构的前提下,将数据降到低维空间。Isomap 是对经典多维缩放(MDS,Multidimensional Scaling)的扩展,通过保留点对点之间的流形距离来实现降维。高维空间中的数据通常位于低维流形上(如曲面或曲线)。在高维空间中,欧几里得距离可能无法准确反映数据的真实结构,而沿流形的距离(即流形距离)能够更好地描述数据点之间的关系。

qq_40432278的博客 2147

机器学习降维算法六——ISOMAP(等距特征映射)

流形学习:传统的机器学习方法中,数据点和数据点之间的距离和映射函数都是定义在欧式空间中的,然而在实际情况中,这些数据点可能不是分布在欧式空间中的,因此传统欧式空间的度量难以用于真实世界的非线性数据,从而需要对数据的分布引入新的假设。流形学习假设所处理的数据点分布在嵌入于外维欧式空间的一个潜在的流形体上,或者说这些数据点可以构成这样一个潜在的流形体。 图1 一个嵌在三维空间的流行体 图1就是一个数据嵌入在流行体的例子,传统的例如PCA和MDS降维方法效果就不是十分理想。此流行体实际上是一个二维分布的平

weixin_43499818的博客 1万+

机器学习之降维

本周关于降维的学习主要分为五类:PCA、LDA、LLE、tSNE、ISOMAP 来进行学习 首先自己的任务是:tSNE的学习 (一)降维的基本知识点总结 1、降维方法分为线性和非线性降维,非线性降维又分为基于核函数和基于特征值的方法。 (1)线性降维:PCA、ICA、LDA、LFA、LPP (2)非线性降维方法:①基于核函数的方法:KPCA、KICA、KDA ②基于特征值的

tdj8866的博客 1万+

Isomap

Isomap算法是在MDS算法的基础上衍生出的一种算法,MDS算法是保持降维后的样本间距离不变,Isomap算法引进了邻域图,样本只与其相邻的样本连接,他们之间的距离可直接计算,较远的点可通过最小路径算出距离,在此基础上进行降维保距。 计算流程如下: 设定邻域点个数,计算邻接距离矩阵,不在邻域之外的距离设为无穷大;求每对点之间的最小路径,将邻接矩阵矩阵转为最小路径矩阵;输入MDS算法,

zhangweiguo_717的博客 1万+

机器学习降维方法概括

最近刷题看到特征降维相关试题,发现自己了解的真是太少啦,只知道最简单的降维方法,这里列出了常见的降维方法,有些算法并没有详细推导。特征降维方法包括:Lasso,PCA,小波分析,LDA,奇异值分解SVD,拉普拉斯特征映射,SparseAutoEncoder,局部线性嵌入LLE,等距映射Isomap。

oneDay的博客 3万+

机器学习-isomap降维算法

ISOMAP(等距特征映射) 流形学习:传统的机器学习方法中,数据点和数据点之间的距离和映射函数都是定义在欧式空间中的,然而在实际情况中,这些数据点可能不是分布在欧式空间中的,因此传统欧式空间的度量难以用于真实世界的非线性数据,从而需要对数据的分布引入新的假设。流形学习假设所处理的数据点分布在嵌入于外维欧式空间的一个潜在的流形体上,或者说这些数据点可以构成这样一个潜在的流形体。 图1 一个...

yanta0的博客 3131

降维算法 ❉ 等距映射(Isometric Mapping,Isomap)

Isomap(Isometric Mapping)是一种非线性降维技术,它用于数据可视化和数据压缩。Isomap的核心思想是保持数据点之间的测地距离(geodesic distance),即沿着数据表面的距离,而不是欧几里得距离(Euclidean distance),即直线距离。

weixin_43156294的博客 2552

【机器学习】非线性降维、流形学习的基本概念、如何选择合适的非线性降维方法以及非线性降维的流形学习实例(含python代码)

流形学习方法通常对数据的局部结构很敏感,并且可能不适用于所有类型的数据,它们可能不如其他降维技术(如主成分分析PCA)那样高效,尤其是在处理大规模数据集时如果数据呈现出明显的流形结构,则LLE、Isomap或LE可能是合适的选择如果目标是数据可视化,t-SNE通常能提供非常好的效果总的来说,非线性降维是处理复杂高维数据的有力工具,但需要根据具体情况进行适当的选择和调整,每种方法都有其优势和局限性,适用于不同的数据特性和应用场景。

ya的博客 1869

非线性降维方法 Isomap Embedding

Isomap Embedding 等距特征映射是一种新颖,高效的非线性降维技术,它的一个突出优点是只有两个参数需要设定,即邻域参数和嵌入维数. 在文章中,我们讨论一下问题: Isomap 属于哪一类机器学习技术? Isomap 是如何工作的? 我通过一个直观的例子而不是复杂的数学来解释。 如何使用 Isomap 减少数据的维度? 机器学习算法系列中的 Isomap 机器学习算法太多了,可能永远不可能将它们全部收集和分类。 然而,我已经尝试为一些最常用的做这件事,你可以在下面的旭日图中找到这些????。

deephub 5147

降维算法概述

引言 在现实世界中,大部分数据是冗余的,以多个低维空间联合分布的形式存在。例如,我们每个人在不同的光和移动模式下的面部图像存在于大约9个子空间维中。手写数字集合MNIST中的单个数字近似存在于一个简单的子空间中,但在三维空间中表示。同时,当今的传感器以及各类移动终端不断地获取数据,数据量和维数都非常大,如何从高维数据中提取和分析数据就显得非常重要。 凡是都具有两面,数据维度高(大量特征)既是优点——数据量越大,特征越多,分析的结果按道理越可信;但是也是缺点——造成“维度灾难”,可能无从下手,同时计算处理时耗

steven的博客 2807

LLE vs Isomap:流形学习在大数据降维中的应用对比与选型指南

流形(Manifold)是一个数学概念,它描述了一种局部类似于欧几里得空间的几何结构。简单来说,流形是一个"弯曲的空间",在足够小的局部区域内,它可以近似为一个欧几里得空间(如直线、平面等)。想象一个球体——从全局看,它是一个二维曲面嵌入在三维空间中;但从球面上任意一点的局部视角看,它近似于一个二维平面。这个球体就是一种典型的流形。在数据科学中,我们假设高维数据点实际上分布在一个低维流形上。

AIGC应用创新大全的博客 1000

{降维} ISOMAP等距特征映射 & MDS多维标度法

首发:https://zhuanlan.zhihu.com/p/60599491 介绍两种降维方法 镇楼_MDS: http://www.utdallas.edu/~herve/Abdi-MDS2007-pretty.pdf 镇楼_ISOMAP: http://www-clmc.usc.edu/publications/T/tenenbaum-Science2000.pdf Multidimensional Scaling (MDS) 多维标度法 1、经典应用场景 在不知各点坐标的,仅知道各点间距离的情况

weixin_38100489的博客 951

Isomap_ISOMAP_流行学习算法-ISOMAP_

流行学习中Isomap算法,可用于解决分类问题。

非线性降维算法(Isomap、LLE、LDE)

非线性降维算法Isomap,LLE,LDE总结

m0_74194861的博客 1930

COMSOL仿真教程—激光烧蚀

本例使用二维模型,将来自激光的入射热通量模拟为金属表面上空间分布的热源,从而得到金属的烧蚀过程和瞬态温度分布。

qq_40977332的博客 2万+

开箱即用的Platform IO开发平台(包括Arduino,ESP8266,ESP32,STM32)

开箱即用的 Platform IO 离线开发环境,包含(ESP32,ESP32S2,ESP8266,Arduino,STM32)

qq_19703307的博客 758

机器学习 降维算法: isomap & MDS

  最近在看论文的时候看到论文中使用isomap算法把3D的人脸project到一个2D的image上。提到降维,我的第一反应就是PCA,然而PCA是典型的线性降维,无法较好的对非线性结构降维。ISOMAP是‘流形学习’中的一个经典算法,流形学习贡献了很多降维算法,其中一些与很多机器学习算法也有结合,先粗糙的介绍一下’流形学习‘。   流形学习   流形学习应该算是个大课题了,它的基...

diaoqi6581的博客 468

isomap降维算法

欢迎关注”生信修炼手册”!降维算法分为线性和非线性两大类,主成分分析PCA属于经典的线性降维,而t-SNE, MDS等属于非线性降维。在非线性降维中,有一个重要的概念叫做流形学习manif...

庐州月光的博客 1241

期货缠论实战:文华财经笔中枢指标公式解析与博易大师应用指南

本文深入解析期货缠论实战中的文华财经笔中枢指标公式及其在博易大师平台的应用技巧。详细介绍了笔中枢指标的核心逻辑、公式拆解、参数设置及多周期联合作战策略,帮助交易者提升市场分析能力与交易胜率。特别适合期货交易者学习缠论指标的实际应用。

weixin_42522552的博客 361

Air780E模组AT指令实战:5分钟搞定MQTT连接EMQX服务器(附完整代码)

本文详细介绍了如何使用Air780E 4G模组通过AT指令快速连接MQTT服务器。从硬件接线、网络注册到MQTT连接配置,提供了完整的实战步骤和代码示例,帮助开发者快速实现物联网设备的数据上报与远程通信。

wdx012345的博客 745

降维技术

1、背景 高维数据的维数灾难 在高维情况下出现的数据稀疏,计算距离困难情况下,是所有机器学习都要面临的严峻问题,称为维数灾难。 当一个维度上的数据相对较多时,增加维度会拉伸该维度上的点,使它们更加分开,导致更加稀疏,由于等距离,距离测量变得毫无意义。 2、降维技术概述 数据降维,也称维数约简(Dimensionality Reduction...

Rnan_prince的博客 2122

【C#程序员入门AI】必知的一些知识

2026年C#调用AI,核心就4个概念+3种方式4个概念:大模型(大脑)、嵌入(数字密码)、向量(载体)、Agent(超级助理)3种方式:云端API(快)、本地模型(隐私)、混合部署(最佳)不用怕复杂,跟着这个思路走,你就能从“AI小白”变成“C# AI开发能手”,把AI集成到你的.NET项目里,提升效率、创造价值!

人工智能AI技术 410

【机器学习算法】降维

降维算法是数据预处理中的一种技术,主要用于减少数据集中的特征数量,同时尽可能保留原始数据的重要信息。

wwl412095144的博客 1160

滑模观测器与锁相环结合应用:让电机“无感”也能精准旋转的奥秘

本文介绍了永磁同步电机无传感器控制中的滑模观测器(SMO)结合锁相环(PLL)技术。SMO通过创建虚拟电机模型,利用电流误差产生控制信号来估计反电动势;PLL则从反电动势中解码转子位置和速度信息。该组合方案兼具SMO的鲁棒性和PLL的高精度,计算量小且硬件要求低。文章详细阐述了原理、数学模型、参数整定方法及实际实现技巧,包括离散化处理、符号函数替代等优化手段,并分析了低速性能限制、抖振问题等常见挑战及解决方案。最后指出该技术未来将与人工智能、多观测器融合等方向结合发展。

汽车软件开发 197

解决Gradle中NPM命令失效问题

摘要:本文分析了IntelliJ IDEA中Gradle执行npm命令失败的问题,报错显示"npm"文件不存在。通过确认npm安装路径、检查系统PATH与Gradle环境的差异,提出两种解决方案:1) 在build.gradle中使用npm绝对路径;2) 通过launchctl修改用户PATH。实例展示了如何修改Gradle脚本或系统配置来解决该问题,指出跨平台开发中环境变量配置的重要性。文章为开发者提供了处理类似问题的实用方法。

2501_90323865的博客 91
上一篇: 【特征选择与降维】主成分分析 PCA
下一篇: 机器学习降维:多维尺度分析 MDS
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值