机器学习非线性降维:局部线性嵌入 LLE

局部线性嵌入LLE原理与实战:非线性降维算法详解 高维数据普遍存在于设备故障诊断、图像识别等场景,降维是数据预处理与特征工程的关键环节。传统线性降维方法如PCA追求全局方差最大,却难以处理嵌入在高维空间中的非线性流形结构。流形学习中的局部线性嵌入(LLE)通过重构样本点的局部线性邻域关系,在低维空间中保持局部几何结构,从而实现高效的非线性降维。它在聚类可视化、特征压缩、异常检测等领域有广泛应用。本文从数学原理出发,逐步解析LLE的重构权重计算与特征分解过程,结合手写NumPy实现和瑞士卷数据集验证,并分享近邻数K、正则化参数等关键调参经验,帮助读者在实际项 阅读详情

机器学习非线性降维:局部线性嵌入 LLE(超通俗完整版)

当数据是卷曲、折叠、扭曲的非线性流形(比如瑞士卷、双月形)时,PCA 这类线性方法完全失效,而 LLE(局部线性嵌入) 就是专门用来“展开流形”的经典非线性降维算法。

它的核心非常简单:只保局部,不管全局;局部拉直,整体铺平。

这篇文章用大白话 + 原理拆解 + 完整代码 + 面试总结,把 LLE 讲得通俗易懂,本科生、研究生都能轻松掌握。


一、先看懂:LLE 到底在做什么?

1. 一句话理解 LLE

LLE = 保留局部邻居关系 → 把弯曲的流形在低维空间“拉直铺平”

它不关心全局距离,只保证:

  • 每个点在高维里能被邻居线性拼出来
  • 到低维后,同样的权重还能把它拼出来

2. 超通俗例子:瑞士卷蛋糕

  • 高维:卷成一团,直线距离骗人
  • LLE:找到每个点附近的小伙伴
  • 低维:直接把卷铺平,邻居关系完全不变

3. LLE 三大步(永远记住)

  1. 找邻居:每个点找最近的 K 个小伙伴
  2. 算权重:用邻居线性拼成自己,求出权重
  3. 嵌低维:保持权重不变,放到 2D/3D 平面

二、LLE 核心思想(极简版)

在很小的局部区域,再复杂的曲面也可以近似成平面。
LLE 就是利用这一点:

  • 高维算局部权重
  • 低维保持权重不变
  • 自动把流形展开

三、LLE 算法三步彻底讲透

第一步:找邻居(K近邻)

对每个点 xix_ixi​,找出距离最近的 K 个点。

  • K 太小:结构碎掉
  • K 太大:变成全局,拉不平流形
  • 常用:5~20

第二步:线性重构(求权重)

目标:用邻居的线性组合,完美重建中心点。
min⁡∥xi−∑jwijxj∥2\min \left\| x_i - \sum_j w_{ij}x_j \right\|^2min​xi​−∑j​wij​xj​​2
约束:所有权重加起来 = 1
∑jwij=1\sum_j w_{ij} = 1∑j​wij​=1

这一步算出的 wijw_{ij}wij​就是局部几何的指纹。

第三步:全局嵌入(低维展开)

固定权重不变,让低维点 yiy_iyi​ 也满足同样的重建关系:
min⁡∑i∥yi−∑jwijyj∥2\min \sum_i \left\| y_i - \sum_j w_{ij}y_j \right\|^2min∑i​​yi​−∑j​wij​yj​​2

最后转化为稀疏矩阵特征分解,取最小非零特征向量,得到低维坐标。


四、LLE 标准算法流程(背诵版)

输入:数据 X、邻居数 K、目标维度 d

  1. 对每个点找 K 近邻
  2. 计算局部重建权重 W
  3. 构造矩阵 M=(I−W)T(I−W)M = (I−W)ᵀ(I−W)M=(I−W)T(I−W)
  4. 对 M 做特征分解
  5. 取最小的 d 个非零特征向量作为低维嵌入
    输出:展开后的低维坐标 Y

五、实战代码:瑞士卷 LLE 降维(可直接运行)

我们用最经典的 Swiss Roll 数据集,完整演示 LLE 降维、可视化、参数调优、对比效果。

import numpy as np
import matplotlib.pyplot as plt
from matplotlib import cm
from sklearn.datasets import make_swiss_roll
from sklearn.manifold import LocallyLinearEmbedding
from sklearn.preprocessing import StandardScaler

# ====================== 1. 生成 3D 瑞士卷数据 ======================
np.random.seed(42)
X, color = make_swiss_roll(n_samples=3000, noise=0.25)
color = color / np.max(color)

# 绘制原始 3D 数据
fig = plt.figure(figsize=(10,7))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(X[:,0], X[:,1], X[:,2], c=color, cmap=cm.plasma, s=20, alpha=0.8)
ax.set_title('原始 3D 瑞士卷数据')
plt.show()

# ====================== 2. 数据标准化 ======================
X_scaled = StandardScaler().fit_transform(X)

# ====================== 3. LLE 降维 ======================
# 标准 LLE
lle = LocallyLinearEmbedding(
    n_components=2,
    n_neighbors=12,
    method='standard',
    random_state=42
)
X_lle = lle.fit_transform(X_scaled)

# 绘制降维结果
plt.figure(figsize=(9,6))
plt.scatter(X_lle[:,0], X_lle[:,1], c=color, cmap=cm.plasma, s=30, alpha=0.8)
plt.title('LLE 降维结果(k=12)')
plt.grid(alpha=0.3)
plt.show()

# ====================== 4. 不同 K 值对比 ======================
k_list = [5, 12, 20]
plt.figure(figsize=(18,5))
for i,k in enumerate(k_list):
    lle_tmp = LocallyLinearEmbedding(n_components=2, n_neighbors=k)
    X_tmp = lle_tmp.fit_transform(X_scaled)
    plt.subplot(1,3,i+1)
    plt.scatter(X_tmp[:,0], X_tmp[:,1], c=color, cmap=cm.plasma, s=20, alpha=0.7)
    plt.title(f'K={k}')
plt.suptitle('不同邻居数 K 对 LLE 效果的影响')
plt.show()

# ====================== 5. 优化版 Modified LLE ======================
lle_mod = LocallyLinearEmbedding(
    n_components=2,
    n_neighbors=15,
    method='modified',
    reg=0.05,
    random_state=42
)
X_mod = lle_mod.fit_transform(X_scaled)

plt.figure(figsize=(9,6))
plt.scatter(X_mod[:,0], X_mod[:,1], c=color, cmap=cm.plasma, s=30, alpha=0.8)
plt.title('优化版 Modified LLE 降维结果')
plt.grid(alpha=0.3)
plt.show()

运行结果说明

  • K 太小:局部断裂
  • K 太大:全局扭曲
  • 标准 LLE:可能出现小畸变
  • Modified LLE:加正则化,展开更平滑

六、LLE 优缺点(面试高频)

✅ 优点

  1. 完美展开非线性流形:瑞士卷、螺旋、环形都能搞定
  2. 强局部保持:邻居关系纹丝不动
  3. 无迭代、无局部最优:一步特征分解出结果
  4. 几何直观:思路简单,教学必讲

❌ 缺点

  1. 计算量大:KNN + 特征分解,大数据很慢
  2. 对噪声/异常值敏感
  3. K 值非常关键,难调
  4. 不保全局结构/距离
  5. 只适用于流形数据,不是通用降维

七、LLE vs 主流降维算法(超级对比)

算法核心思想保留结构复杂度适用场景
PCA方差最大全局线性低线性快速降维
LLE局部线性重构局部流形高展开卷曲流形
Isomap测地距离+MDS全局距离高保距离、中小数据
t-SNE概率近邻局部聚类高可视化聚类
UMAP拓扑图嵌入全局+局部低大数据通用

八、什么时候用 LLE?什么时候不用?

✅ 推荐用 LLE

  • 数据是明显的低维流形(瑞士卷、螺旋、曲面)
  • 重点要保留局部结构
  • 样本量几千以内
  • 需要把弯曲数据展开铺平

❌ 不推荐用 LLE

  • 数据万级以上 → 用 UMAP
  • 噪声很多 → 用 t-SNE/UMAP
  • 需要保全局距离 → 用 Isomap
  • 线性数据 → 用 PCA
  • 要高速、可扩展 → 用 UMAP

九、LLE 使用必知技巧

  1. K 一定要调:5~20 之间试
  2. 数据必须标准化
  3. 矩阵奇异时加正则化(reg)
  4. 推荐用 Modified LLE 更稳定
  5. 大数据先用 PCA 预降维

十、总结(一句话记住 LLE)

LLE 是“局部拉直、全局铺平”的流形降维神器,通过保持局部线性重构关系,完美展开瑞士卷等非线性数据,是机器学习非线性降维的经典代表算法。

机器学习之:LLE (locally linear embedding) 局部线性嵌入降维算法 文章目录LLE1. LLE 是什么2. LLE 的主要思想3. LLE 算法推导过程3.1 如何找到 k 个近邻3.2 找 xix_ixi​ 与这 k 个近邻的线性关系3.3 xix_ixi​ 与 k 个近邻点的线性关系求解过程3.3.1 奇异值分解3.3.1.1 特征值分解 (EVD)3.3.1.2 奇异值分解(SVD) LLE 1. LLE 是什么 Locally linear embedding(LLE)[1] 是一种非线性降维算法,它能够使降维后的数据较好地保持原有 流形结构 。LLE可以说是流形学 阅读详情

相关推荐

机器学习降维方法概括

最近刷题看到特征降维相关试题,发现自己了解的真是太少啦,只知道最简单的降维方法,这里列出了常见的降维方法,有些算法并没有详细推导。特征降维方法包括:Lasso,PCA,小波分析,LDA,奇异值分解SVD,拉普拉斯特征映射,SparseAutoEncoder,局部线性嵌入LLE,等距映射Isomap。

oneDay的博客 3万+

局部线性嵌入(LLE)原理总结

https://www.cnblogs.com/pinard/p/6266408.html 局部线性嵌入(Locally Linear Embedding,以下简称LLE)也是非常重要的降维方法。和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,它广泛的用于图像图像识别,高维数据可视化等领域。下面我们就对L...

weixin_41643439的博客 1359

机器学习:流形学习Manifold Learning之LLE(局部线性嵌入)

流形学习被认为属于非线性降维的一个分支。 1. 基本概念 流形(manifold)是一般的几何对象的总称。比如人,有中国人、美国人等等;流形就包括各种维数的曲线曲面等。和一般的降维分析一样,流形学习把一组在高维空间中的数据在低维空间中重新表示。 和以往方法不同的是,在流形学习中有一个假设,就是所处理的数据采样于一个潜在的流形上,或是说对于这组数据存在一个潜在的流形。 不同的方法,对于流形性质的要求各不相同,这也就产生了在流形假设下的各种不同性质的假设,比如在Laplacian Eigenmaps(这是个啥?

pantingd的博客 2738

机器学习 --- 局部线性嵌入

【代码】机器学习 --- 局部线性嵌入。

bm200616的博客 720

【机器学习】非线性降维、流形学习的基本概念、如何选择合适的非线性降维方法以及非线性降维的流形学习实例(含python代码)

流形学习方法通常对数据的局部结构很敏感,并且可能不适用于所有类型的数据,它们可能不如其他降维技术(如主成分分析PCA)那样高效,尤其是在处理大规模数据集时如果数据呈现出明显的流形结构,则LLE、Isomap或LE可能是合适的选择如果目标是数据可视化,t-SNE通常能提供非常好的效果总的来说,非线性降维是处理复杂高维数据的有力工具,但需要根据具体情况进行适当的选择和调整,每种方法都有其优势和局限性,适用于不同的数据特性和应用场景。

ya的博客 1869

机器学习强基计划8-5:图解局部线性嵌入LLE算法(附Python实现)

局部线性嵌入(Locally Linear Embedding, LLE)限制样本在降维后的低维空间中的k近邻局部线性关系,等价于原始空间。本文详解LLE算法原理并给出Python实现

FRIGIDWINTER的博客 2804

机器学习(33)之局部线性嵌入(LLE)【降维】总结

微信公众号关键字全网搜索最新排名【机器学习算法】:排名第一【机器学习】:排名第一【Python】:排名第三【算法】:排名第四前言局部线性嵌入(Locally Linear Embedding,简称LLE)也是非常重要的降维方法。和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,它广泛的用于图像图像识别,高维数据可视

机器学习算法与Python学习 3583

LLE - 局部线性嵌入算法(locallylinearembedding,LLE)

LLE - 局部线性嵌入算法(locallylinearembedding,LLE)是机器学习领域常用的数据降维方法,资源为该方法的matlab实现

流形学习的四种降维方法

流形学习 先来了解一下流形学习。 流形学习(Manifold Learning)是机器学习中的一种维数约简方法,将高维的数据映射到低维,并依然能够反映原高维数据的本质结构特征。流形学习的前提是假设某些高维数据实际是一种低维的流形结构嵌入在高维空间中。流形学习分为线性流形算法和非线性流形算法,线性流形算法包括主成分分析和线性判别分析,非线性流形算法包括局部线性嵌入(Locally Linear Embedding,LLE)、拉普拉斯特征映射(LE)等。 本文介绍这四种降维方法原理,实现步骤以及实现代码。 线性

m0_53272995的博客 5616

局部线性嵌入LLE的matlab代码

局部线性嵌入LLE的matlab代码,有详细的注释,代入数据就可以运行

数据降维_线性局部嵌入方法_matlab实现代码

机器学习数据降维方法之线性局部嵌入方法实现,代码可以直接运行,简单易懂。

传统的线性降维方法效果不佳。_你还知道哪些降维方法?

当然PCA是众所周知的降维方法,SVD也是一种,除此之外,还有如LDA、LLE以及LE。(1) PCAPCA也就是主成份分析,Principal Component Analysis(PCA)是现如今最流行的无监督线性降维方法之一了,其主要思想是数据经过某种投影,或者说乘以一个矩阵之后,得到的新的矩阵在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性。PCA的目...

weixin_39875760的博客 169

Hessian局部线性嵌入(HLLE) matlab代码实现

Hessian局部线性嵌入(HLLE) matlab代码实现,其中的Cs是调用正交化的程序。

【机器学习】降维系列算法(PCA、LDA、NMF、LLE)

降维(Dimensionality Reduction)是机器学习中用来减少数据集特征数量的技术,其目的是在尽可能保留原始数据信息的同时降低数据的复杂度。降维不仅可以加速模型训练、减少计算资源消耗,还能帮助消除噪声、提高模型性能,并且有助于可视化高维数据。PCA 是一种线性降维方法,它通过找到一组新的正交基(主成分),将原始数据投影到这些新轴上。新的坐标系中的每个维度都是原始变量的线性组合,且各维度之间相互独立。PCA的目标是在尽可能少的维度上保留尽可能多的数据方差。

专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发 1万+

局部线性嵌入(Locally Linear Embedding,LLE)(Python)

局部线性嵌入(Locally Linear Embedding,LLE)也是非常重要的降维方法。和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,它广泛的用于图像图像识别,高维数据可视化等领域。

【GNSS/Linux】BKG Ntrip Client (BNC) 的编译与安装

【GNSS/Linux】BKG Ntrip Client (BNC) 的编译与安装 1. BNC软件 1.1 软件介绍 The BKG Ntrip Client (BNC) is an Open Source multi-stream client program designed for a variety of real-time GNSS applications. It was primarily designed for receiving data streams from any Ntrip

小马甲的新马甲 7809

sklearn与机器学习系列专题之降维(六)一文弄懂LLE特征筛选&降维

目录1.LLE算法简介2.LLE算法原理3.LLE优缺点4.python实战LLE5.下篇预告 1.LLE算法简介 局部线性嵌入算法(Locally Linear Embedding,LLE)和上一篇专题Isomap都属于流形学习方法。与Isomap不同的是,LLE在降维中,试图保持邻域内样本之间的线性关系,使得样本之间的映射坐标能够在低维空间中得以保持,如下图所示。 以下图为例,使用LLE将三维数据(B)映射到二维(C)之后,映射后的数据仍能保持原有的数据流形(红色的点互相接近,蓝色的也互相接近),说明

weixin_45234485的博客 2379

SPSS&Mplus—共同方法偏差(Common Method Bias)控制与检验

共同方法偏差(Common Method Bias)的控制方法:程序控制(Procedural)和统计控制(Statistical)。

m0_54401011的博客 1万+

降维算法 ❉ 局部线性嵌入(Locally Linear Embedding,LLE)

局部线性嵌入(Locally Linear Embedding,LLE)是一种用于维数约减的非线性技术,由Sam Roweis和Lawrence Saul于2000年提出。LLE的目标是在低维空间中保持数据点之间的局部邻域结构,同时尽可能保持全局结构。

weixin_43156294的博客 1398

3D Slicer肺部CT病灶体积测量:阈值法实操全流程

在医学影像分析中,病灶体积的精准测量是肿瘤评估、疗效随访和科研统计的重要基础。传统逐层手动勾画不仅耗时,且主观差异大,而基于CT值的阈值分割技术,通过设定灰度区间自动提取目标体素,能够快速生成三维分割结果,具有高效、可重复、边界标准统一的优势,尤其适用于肺部实性结节这类与周围肺实质对比度高的病灶。理解体素与CT值的关系,掌握阈值范围的设定逻辑,并配合连通域分析、边缘修正等工程化操作,即可在3D Slicer中稳定获得可靠的体积数据。本文从技术原理出发,系统梳理了DICOM导入、窗宽窗位调节、阈值选择、三维重

weixin_29050271的博客 253

YOLOv5实战:无人机巡检图片差异对比与违建标记(附完整代码)

本文详细介绍了如何利用YOLOv5目标检测技术实现无人机巡检图片差异对比与违建标记。通过图像对齐、目标检测、差异分析和可视化标记四个步骤,构建高效的违建识别系统,显著提升城市管理效率。文章包含完整代码实现和性能优化技巧,为计算机视觉在无人机巡检中的应用提供实用指南。

weixin_42535720的博客 283
上一篇: 机器学习非线性降维:核PCA(Kernel PCA)
下一篇: 机器学习降维核心:奇异值分解 SVD
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值