LLE降维实战:从理论到代码实现局部线性嵌入

用scikit-learn研究局部线性嵌入(LLE) 在局部线性嵌入(LLE)原理总结中,我们对流形学习中的局部线性嵌入(LLE)算法做了原理总结。这里我们就对scikit-learn中流形学习的一些算法做一个介绍,并着重对其中LLE算法的使用方法做一个实践上的总结。 1. scikit-learn流形学习库概述     在scikit-learn中,流形学习库在sklearn.manifold包中。里面实现的流形学习算法有:     1)多维 阅读详情

1. 从“卷起来的布”说起:LLE降维到底在做什么?

想象一下,你有一块揉成一团的丝绸手帕。从远处看,它就是一个三维空间里的不规则球体。但你知道,它本质上是一块二维的布,只是被“卷”起来了。现在,你的任务是不破坏这块布的纹理和结构,把它重新平整地展开在桌面上。这个过程,就是流形学习(Manifold Learning)要解决的核心问题,而局部线性嵌入(Locally Linear Embedding, LLE)正是完成这个“优雅展开”任务的经典方法之一。

在机器学习的世界里,我们常常会遇到类似“揉皱的手帕”一样的数据。比如,你拍了几百张人脸照片,每张照片是100x100像素的灰度图,那么每张图片就位于一个10000维的高维空间中的一个点。但实际上,决定一张人脸样貌的关键因素(如脸型、五官位置、光照角度)可能只有几十个。这些数据点看似分布在高维空间,实则可能“居住”在一个低维的流形(Manifold)上。LLE算法的目标,就是找到这个隐藏的低维流形,把数据“摊平”,同时保留数据点之间的局部结构关系。

我刚开始接触LLE时,总觉得那些数学公式有点吓人。但后来我发现,它的核心思想异常直观,甚至有点“邻里互助”的意味。简单来说,LLE做了三件事:

  1. 找邻居:对于高维空间中的每一个数据点,找到离它最近的k个点(就像你只和你小区里的邻居熟悉)。
  2. 算关系:认为这个点可以由它的k个邻居线性组合而成(比如,你的性格可能由你最好的三个朋友的性格按一定比例组合而成),并算出这个组合的权重。
  3. 保关系:在降维后的低维空间里,强行让每个点和它邻居的相对位置关系(即上一步算出的权重)保持不变。

这样一来,当数据从高维映射到低维时,虽然全局的几何形状(比如那块布被揉成了球)被丢弃了,但局部的“谁和谁挨得近、谁由谁构成”的关系却被完美地保留了下来。这对于后续的聚类、可视化或分类任务来说,往往比保留全局的欧氏距离更有价值。接下来,我们就一步步拆解这个思想,并用代码把它实现出来。

2. 庖丁解牛:三步拆解LLE算法核心

理解了LLE的比喻和思想,我们把它落实到具体的数学和算法步骤上。整个过程就像一套精心设计的“降维体操”,每一步都有明确的目标。

2.1 第一步:为每个点找到它的“小圈子”(K近邻)

这是所有后续步骤的基础。在高维数据集中,对于每一个数据点 ( x_i ),我们需要找到离它最近的 ( k ) 个点。这里的“近”通常使用欧氏距离来衡量。这一步看似简单,但有个关键点:k值的选择。

  • k太小(比如k=2):每个点只和最近的两个点有关系,重建的局部线性关系非常脆弱,容易受到噪声干扰,最终降维结果可能变得支离破碎。
  • k太大:点的“邻居圈”变得很大,会引入不属于同一局部流形的点,强行用它们进行线性表示会模糊真正的局部结构,降维效果会趋向于保留全局特性,失去LLE的局部优势。

在实际操作中,k是一个需要调试的超参数。一个经验法则是,k应该大于你想要降维到的目标维度d,但也不能大得离谱。我常用的一个快速测试方法是,先用一个较小的k(如5-10)跑一下,观察降维可视化结果是否连贯,再逐步调整。

2.2 第二步:计算“小圈子”内的线性情谊(重建权重)

找到邻居后,LLE做出了一个非常强的假设:每个点都可以用它邻居们的线性组合来很好地重建。用数学公式表示就是:

对于点 ( x_i ) 和它的k个邻居 ( x_j ) (其中 ( j \in N(i) )),我们寻找一组权重系数 ( W_{ij} ),使得: [ x_i \approx \sum_{j \in N(i)} W_{ij} x_j ] 并且权重需要满足归一化条件:( \sum_{j} W_{ij} = 1 )。这个条件很重要,它保证了重建具有平移不变性。

如何找到这组最优的 ( W_{ij} ) 呢?我们最小化重建误差: [ \epsilon_i = \left| x_i - \sum_{j \in N(i)} W_{ij} x_j \right|^2 ] 这本质上是一个有约束(权重和为1)的二次规划问题。通过引入拉格朗日乘子,我们可以得到一个闭式解。具体推导会涉及局部协方差矩阵的构造和求逆(或使用正则化处理奇异矩阵)。这里你可以先记住结论:权重 ( W_{ij} ) 可以通过求解一个以点 ( x_i ) 和其邻居构成的局部协方差矩阵的线性方程组得到。

这个步骤的精妙之处在于,权重 ( W_{ij} ) 捕获了数据局部几何结构的本质。它不依赖于数据的全局坐标,只依赖于点与点之间的相对位置。这意味着,即使你对整个数据集进行旋转、平移或缩放,计算出的这些局部权重也不会改变。这为第三步的稳定性打下了基础。

2.3 第三步:将“情谊地图”投射到低维空间(低维嵌入)

这是LLE的画龙点睛之笔。我们现在已经拥有了高维空间中所有点的“局部情谊地图”——重建权重矩阵 ( W )。LLE的最终目标是找到一个低维表示 ( Y = {y_1, y_2, ..., y_m} )(每个 ( y_i ) 是d维向量,d << n),使得在低维空间中,这些局部情谊关系尽可能地被保持。

也就是说,我们希望低维空间中的点 ( y_i ) 也能用其邻居(注意,这里的“邻居关系”沿用高维空间计算出的权重 ( W_{ij} ) 所定义的关系,而不是在低维重新找邻居)以相同的权重 ( W_{ij} ) 来重建: [ \Phi(Y) = \sum_i \left| y_i - \sum_j W_{ij} y_j \right|^2 \quad \text{尽可能小} ] 同时,为了避免退化解(比如所有点都映射到同一个位置),我们通常会加上两个约束:1) 数据中心化(均值为零);2) 协方差矩阵为单位矩阵(各维度去相关且方差为1)。

神奇的是,最小化这个代价函数 ( \Phi(Y) ) 可以转化为一个特征值分解问题。我们需要计算一个稀疏矩阵 ( M = (I - W)^T (I - W) ) 的底部(最小的)几个非零特征值对应的特征向量。这些特征向量就是我们要的低维嵌入 ( Y )。

为什么是最小的特征值呢?因为我们的目标是最小化 ( \Phi(Y) ),而数学上可以证明 ( \Phi(Y) = tr(Y^T M Y) )。在约束 ( Y^T Y = I ) 下,最小化这个迹就是取 ( M ) 的最小特征值对应的特征向量。通常,最小的特征值接近0,其对应的特征向量是常向量(所有分量相等),没有信息量,所以我们舍弃它,取第2到第d+1小的特征值对应的特征向量作为最终输出。

3. 手把手实战:用Python和Scikit-learn实现LLE

理论说得再多,不如亲手跑一遍代码来得实在。我们将使用Python的scikit-learn库和一个经典的数据集来演示LLE的完整流程。我更喜欢在Jupyter Notebook里做这种探索,交互性很强,方便随时调整参数看效果。

3.1 环境准备与数据加载

首先,确保你的环境里安装了必要的库。我们用numpy处理数据,matplotlib画图,scikit-learn提供LLE算法和数据集。

# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.manifold import LocallyLinearEmbedding
from sklearn.decomposition import PCA  # 用于对比
from sklearn.preprocessing import StandardScaler

# 设置随机种子,确保结果可复现
np.random.seed(42)

# 加载经典的手写数字数据集(MNIST的一个子集)
digits = datasets.load_digits()
X = digits.data  # 这是一个 (1797, 64) 的矩阵,1797张8x8的灰度图
y = digits.target  # 对应的数字标签 (0-9)
target_names = digits.target_names

print(f"数据集形状: {X.shape}")
print(f"特征维度: {X.shape[1]} (即8x8像素展开)")
print(f"标签类别: {np.unique(y)}")

这个数据集有1797个样本,每个样本是64维(8x8像素)。我们的目标是将这64维的数据降到2维或3维,以便在平面上可视化,并观察同一数字的样本是否能聚集在一起。

3.2 应用LLE进行降维

scikit-learn的LocallyLinearEmbedding类将我们前面讨论的三步都封装好了。我们只需要关注几个关键参数:

  • n_components:目标维度d。
  • n_neighbors:关键的k值,即邻居数量。
  • method:标准LLE使用'standard'。还有一个'modified'版本(MLLE)对权重矩阵进行了正则化,对噪声更鲁棒。
# 数据标准化(虽然不是LLE必须的,但有时能提升稳定性)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 创建LLE模型,降到2维
n_neighbors = 30  # 尝试不同的k值
n_components = 2

lle = LocallyLinearEmbedding(n_neighbors=n_neighbors,
                             n_components=n_components,
                             method='standard',
                             random_state=42)
X_lle = lle.fit_transform(X_scaled)

print(f"降维后数据形状: {X_lle.shape}")

运行后,X_lle就从(1797, 64)变成了(1797, 2)。我们可以把它画出来了。

3.3 结果可视化与解读

将降维后的二维数据用散点图画出来,并用原始标签着色,这是最激动人心的时刻——你能看到高维数据的“灵魂”在二维平面上的投影。

plt.figure(figsize=(10, 8))
colors = plt.cm.Set1(np.linspace(0, 1, 10))  # 10种颜色对应10个数字

for i, color in zip(range(10), colors):
    plt.scatter(X_lle[y == i, 0], X_lle[y == i, 1],
                color=color, alpha=0.6, lw=1,
                label=target_names[i])

plt.title(f'LLE projection of the digits dataset (k={n_neighbors})', size=16)
plt.xlabel('LLE Component 1')
plt.ylabel('LLE Component 2')
plt.legend(loc='best', shadow=False, scatterpoints=1)
plt.grid(alpha=0.3)
plt.show()

观察这幅图,你会发现数字0、1、6等形成了相对紧凑的簇,而一些数字(如4、7、9)可能有部分重叠。这反映了数据内在的复杂性:有些数字写法差异大,在低维流形上容易分开;有些数字形状相似(如4和9),就容易混在一起。这正是流形学习的价值体现——它揭示的是数据基于“形状”的自然分组,而不是简单的像素距离。

3.4 与PCA进行对比

为了凸显LLE的特性,我们最好和线性降维的标杆——主成分分析(PCA)做个对比。PCA寻找的是数据方差最大的方向,它保留的是全局的欧氏结构。

# 使用PCA降到2维
pca = PCA(n_components=2, random_state=42)
X_pca = pca.fit_transform(X_scaled)

# 绘制对比图
fig, axes = plt.subplots(1, 2, figsize=(18, 8))

# 绘制LLE结果
for i, color in zip(range(10), colors):
    axes[0].scatter(X_lle[y == i, 0], X_lle[y == i, 1],
                    color=color, alpha=0.6, lw=1,
                    label=target_names[i])
axes[0].set_title(f'LLE (k={n_neighbors})', size=16)
axes[0].set_xlabel('Component 1')
axes[0].set_ylabel('Component 2')
axes[0].legend(loc='upper right')
axes[0].grid(alpha=0.3)

# 绘制PCA结果
for i, color in zip(range(10), colors):
    axes[1].scatter(X_pca[y == i, 0], X_pca[y == i, 1],
                    color=color, alpha=0.6, lw=1,
                    label=target_names[i])
axes[1].set_title('PCA', size=16)
axes[1].set_xlabel('Principal Component 1')
axes[1].set_ylabel('Principal Component 2')
axes[1].legend(loc='upper right')
axes[1].grid(alpha=0.3)

plt.tight_layout()
plt.show()

对比两张图,你通常会发现PCA的投影点分布更“散”,像一个整体的椭圆分布,不同类别混杂在一起的情况可能更严重。而LLE的投影中,局部聚集性(同一数字的点挤在一起)往往更好。这是因为PCA关心的是所有数据点的全局协方差,而LLE关心的是每个点与它几十个邻居的局部线性关系。当数据确实存在于一个非线性流形上时,LLE的这种局部视角优势就非常明显。

4. 调参心得与常见“坑点”规避

纸上得来终觉浅,绝知此事要躬行。在实际项目中应用LLE,我踩过不少坑,也积累了一些经验。分享出来,希望能帮你少走弯路。

4.1 关键参数n_neighbors(k值)的调优艺术

n_neighbors(k)绝对是LLE中最重要的参数,没有之一。它直接控制着“局部”的范围有多大。我的调优流程通常是这样的:

  1. 从经验值开始:一个常用的启发式起点是 ( k = \max(10, 2 \cdot d) ),其中d是目标维度。对于降到2维,可以从k=10或15开始。
  2. 观察稳定性:在k值附近做一个小范围的网格搜索(例如k=5, 10, 15, 20, 30)。对每个k值运行LLE,并将二维结果可视化。观察哪些类别的簇变得更紧致、更分离,同时注意整体结构是否出现断裂或畸变。如果k太小,图会显得破碎,有很多孤立的小点群;如果k太大,不同类别的簇会开始融合,结构变得模糊。
  3. 利用重建误差:scikit-learn的LLE模型有一个reconstruction_error_属性,它记录了第三步优化后的最终代价函数值。这个值可以在相同k值下比较不同算法变体(如标准LLE和MLLE),但它本身的大小没有绝对意义。通常,随着k增加,重建误差会先下降后上升,你可以把误差突然开始上升的点作为一个k值过大的警示。
  4. 结合下游任务:如果降维是为了后续的聚类或分类,那么最硬的指标就是聚类纯度或分类准确率。用降维后的数据训练一个简单的分类器(如KNN),观察准确率随k值变化的曲线,选择一个在验证集上表现最好的k。

4.2 算法变体:标准LLE、MLLE与Hessian LLE

scikit-learn提供了三种LLE方法,通过method参数指定:

  • 'standard':就是我们上面讨论的标准LLE。它对权重矩阵 ( W ) 没有额外的正则化,当邻居点共线或近似共线时(导致局部协方差矩阵奇异或病态),求解权重可能不稳定。
  • 'modified' (MLLE):这是我最常推荐使用的版本。它引入了一个正则化项来处理病态的局部协方差矩阵,通过一个正则化参数 reg(默认0.001)来稳定求解过程。MLLE对噪声和邻居点选择的微小变化更具鲁棒性,通常能产生更稳定、可重复的结果。
  • 'hessian' (Hessian LLE):也称为HLLE。它基于局部Hessian矩阵(曲率)来估计流形,理论上对具有恒定曲率的流形效果更好,但计算量更大,对参数也更敏感,我一般只在标准LLE和MLLE效果都不佳,且确信数据流形结构非常规整时才会尝试。

个人建议:优先尝试 method='modified'。它多了一个reg参数可以微调,但大多数情况下默认值就工作得很好。它能有效避免因为少数几个“不争气”的局部邻域导致整个降维结果扭曲的情况。

4.3 数据预处理与尺度问题

LLE是一个基于距离的算法(第一步找邻居),因此数据的尺度至关重要。如果不同特征的量纲差异巨大(比如一个特征范围是0-1,另一个是10000-100000),那么数值大的特征将完全主导距离计算,导致找邻居的结果失真。

必须进行特征缩放! 最常用的方法是StandardScaler(标准化,使每个特征均值为0,方差为1)或MinMaxScaler(归一化到[0,1]区间)。我通常首选标准化,因为它对异常值不那么敏感,并且处理后的数据符合LLE内部对低维数据单位协方差的约束假设。

另一个预处理考虑是噪声。LLE对噪声比较敏感,因为噪声会破坏局部的线性关系。如果数据噪声很大,在降维前可以考虑使用PCA先进行轻微的平滑去噪(保留95%-99%的方差),然后再应用LLE。或者,适当增大n_neighbors,让局部重建在更大的范围内平均掉一些噪声的影响。

4.4 性能考量与局限性

LLE有两个主要的性能瓶颈:

  1. K近邻搜索:对于大规模数据集(如数万以上样本),暴力计算所有点对距离是不可行的。需要使用基于树的结构(如KD-Tree, Ball Tree)或近似最近邻算法。scikit-learn默认会使用KDTree或BallTree,当数据维度很高(>20)时,BallTree通常效率更高,你可以通过neighbors参数指定。
  2. 稠密特征值分解:第三步求解底部特征向量时,矩阵 ( M ) 是稠密的 ( m \times m ) 矩阵(m是样本数)。当m很大时(比如>10000),这个特征值分解会非常耗时耗内存。这是所有基于特征值分解的流形学习算法(包括Isomap、拉普拉斯特征映射)的共同瓶颈。

因此,LLE不适合处理超大样本量的数据集。对于百万级数据,你可能需要先采样,或者转向基于随机投影、自编码器等可扩展的降维方法。

此外,LLE的**“局部线性”假设**是其优势也是局限。如果你的数据流形在局部也是高度非线性、弯曲剧烈的(想象一个非常皱的布),那么用线性片来近似它就会引入较大误差。在这种情况下,可能需要考虑其他假设更弱的流形学习方法。

最后记住,降维后的坐标轴通常没有直接的解释性(不像PCA的主成分代表方差最大的方向)。LLE Component 1和2只是数学构造,用于保持局部关系。我们关注的是点与点之间的相对位置,而不是坐标轴本身的意义。

(流形降维)局部线性嵌入 - LLE 文章目录一,流形学习概述二,如何使用LLE进行数据降维1.参数说明2.官网示例三,实例说明 一,流形学习概述 更多关于LLE原理 参考:局部线性嵌入(LLE)原理总结 LLE属于流形学习(Manifold Learning)的一种。因此我们首先看看什么是流形学习。流形学习是一大类基于流形的框架。数学意义上的流形比较抽象,不过我们可以认为LLE中的流形是一个不闭合的曲面。这个流形曲面有数据分布比较均匀,且比较稠密的特征,有点像流水的味道。基于流行的降维算法就是将流形从高维到低维的降维过程,在降维的过程中我们希 阅读详情

相关推荐

局部线性嵌入算法(LLE)与其Python实现

PCA是至今为止运用最为广泛的数据降维算法,它通过最小化重构误差达到将高维数据映射到低维并同时保留数据中所存在的绝大部分信息。但是一般的PCA也有缺点,它只能实现线性降维。当然现在也有kernel PCA可以实现非线性降维,但我们今天介绍的是另一种实现非线性降维的算法——局部线性嵌入(Local Linear Embedding),其是基于流形学习的思想。 一、流形学习(Mainfold Le...

WFRainn的博客 7865

两种降维方法的总结——LLE(局部线性嵌入),ISOMAP(等度量映射)

简介流形学习是一类借鉴了拓扑流形概念的降维方法。流形是在局部与欧式空间同胚的空间,换言之,它在局部具有欧式空间的性质,能用欧式距离来进行距离计算。若低维流形嵌入到高维空间中,则数据样本在高维空间的分布虽然看上去非常复杂,但在局部上仍具有欧式空间的性质,基于流形学习的降维正是这种“邻域保持”的思想。如此,可以在局部建立降维映射关系,然后再设法将局部映射推广到全局。当维数被降至二维或三维时,能对数据进...

zod的博客 3万+

Python实现局部线性嵌入(LLE)降维算法

局部线性嵌入(LLE)是一种有效的非线性降维方法,通过保持数据的局部邻域关系,将高维数据嵌入到低维空间。在本文中,我们详细介绍了LLE的数学原理,并通过Python实现了一个面向对象的LLE类。此外,我们还展示了如何在瑞士卷数据集上应用LLE进行降维,并取得了良好的效果。通过LLE算法,我们能够在保持数据局部结构的同时,显著降低数据的维度,从而为后续的机器学习任务打下基础。这种方法不仅适用于瑞士卷数据集,还可以推广到其他具有非线性结构的数据集,如人脸图像、手写体数字等。

闲人编程的博客 1248

【机器学习】【降维】局部线性嵌入(LLE)原理总结

局部线性嵌入(Locally Linear Embedding,以下简称LLE)也是非常重要的降维方法。和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,它广泛的用于图像图像识别,高维数据可视化等领域。下面我们就对LLE的原理做一个总结。 1、流形学习概述   LLE属于流形学习(Manifold Learning...

lameraaa的博客 3020

LLE降维——代码实现

参考文章: 算法实现 #!/usr/bin/env python # coding: utf-8 # ## LLE算法实现 # In[2]: ''' LLE 2019.11.20 Author: luo Reference: Zhihua Zhou. Machine learning[M]. Tsinghua University Press, 2016 实现了LLE 总结:...

littleboy__的博客 2662

LLE(局部线性嵌入)matlab代码实现

本人在其他文章前面已经写过LLE的原理,在这里写一下LLE的代码,一个是网上其他大神的程序,一个是参考后自己写的的。 一, % LLE ALGORITHM (using K nearest neighbors) % [Y] = lle(X,K,dmax) % X :data as D x N matrix (D = dimensionality, N = #points) % K ...

zod的博客 9864

局部线性嵌入(LLE)的代码示例以及详细数学解释

重建误差是原始点和基于其邻居的线性组合之间的差异。

h52013141的博客 2957

局部线性嵌入(LLE)原理总结

局部线性嵌入(Locally Linear Embedding,以下简称LLE)也是非常重要的降维方法。和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,它广泛的用于图像图像识别,高维数据可视化等领域。下面我们就对LLE的原理做一个总结。 1. 流形学习概述     LLE属于流形学习(Manifold

刘彦的博客 9876

降维算法之局部线性嵌入

降维算法之局部线性嵌入

qq_45670407的博客 1005

机器学习强基计划8-5:图解局部线性嵌入LLE算法(附Python实现)

局部线性嵌入(Locally Linear Embedding, LLE)限制样本在降维后的低维空间中的k近邻局部线性关系,等价于原始空间。本文详解LLE算法原理并给出Python实现

FRIGIDWINTER的博客 2804

LLE流形学习降维技术:从理论到实践

在LLE算法中,邻接矩阵通常用一个对称矩阵表示,矩阵中的每个元素 (W_{ij}) 表示数据点 (i) 和数据点 (j) 之间的邻接权重。权重 (W_{ij}) 表明了数据点 (i) 通过其邻接点 (j) 进行局部线性逼近的贡献程度。选择邻接点的标准通常有:固定邻居数:根据数据点的K近邻来构建,确保每个数据点都有固定的邻居数。距离阈值:所有距离给定数据点小于某一阈值的点都被视为邻接点。# 以 sklearn 实现构建邻接矩阵的示例代码X = ... # 高维数据集。

weixin_35266799的博客 907

sklearn与机器学习系列专题之降维(六)一文弄懂LLE特征筛选&降维

目录1.LLE算法简介2.LLE算法原理3.LLE优缺点4.python实战LLE5.下篇预告 1.LLE算法简介 局部线性嵌入算法(Locally Linear Embedding,LLE)和上一篇专题Isomap都属于流形学习方法。与Isomap不同的是,LLE在降维中,试图保持邻域内样本之间的线性关系,使得样本之间的映射坐标能够在低维空间中得以保持,如下图所示。 以下图为例,使用LLE将三维数据(B)映射到二维(C)之后,映射后的数据仍能保持原有的数据流形(红色的点互相接近,蓝色的也互相接近),说明

weixin_45234485的博客 2379

利用VS2019编写安卓APP的步骤和所遇问题的解决办法

遇到了代码错误,这个可以将鼠标箭头置于错误代码处,这样VS2019给你解决办法,给的方法不能解决,并且读了程序都没有问题,那么你应该重启软件,这样还是不能解决,你尝试重新生成解决方案,还是不能解决有可能是运用的代码与当前版本不相符和、过时了,这个时候应当运用相应版本的代码。注:VS2019编写APP的空间不是很稳定,当你写的代码没有问题,但是出现了报错,可能是空间崩溃了,这个时候可以重启软件。点击“+”号,创建密钥存储,输入“别名”、“密码”、以及下面中的任意一项,直至红色框消失后。

youbestcando的博客 7817

机器学习实战8-sklearn降维(PCA/LLE)

官方地址:https://github.com/apachecn/hands-on-ml-zh/blob/master/docs/8.%E9%99%8D%E7%BB%B4.md 一、简介 许多机器学习问题涉及训练实例的几千甚至上百万个特征,这不仅导致训练非常缓慢,也让我们更加难以找到好的解决方案。这个问题通常被称为维度的灾难。对现实世界的问题,我们一般可以大量减少特征的数量,将棘手...

知识搬运工的博客 6880

SAP WM模块配置详解

1.给工厂/存储地点分配仓库编码 功能说明 配置路径 IMG>企业结构>分配>分配后勤执行>给工厂/存储地点分配仓库编码 业务示例 配置步骤 2.定义仓库号码控制参数 功能说明 配置路径 IMG>后勤执行>仓库管理>主数据>主数据>定义仓库号码控制参数 业务示例 配置步骤 3.定义编码范围 功能说明 配置路径 IMG>后勤执行>仓库...

weixin_40672823的博客 2万+

HAL库STM32CubeMX+DHT11温湿度传感器模块化驱动与OLED显示实战

本文详细介绍了基于HAL库和STM32CubeMX开发DHT11温湿度传感器模块化驱动的实战过程。通过精确的时序控制和模块化封装,实现了传感器数据采集,并结合OLED显示模块实时展示温湿度信息,为嵌入式开发者提供了完整的解决方案。

h6j7k8l9p0的博客 1135

【降维】LLE

局部线性嵌入(LLE)是一种基于流形学习的非线性降维方法,由 Roweis 和 Saul 于2000年提出。其主要目标是在低维空间中保留高维数据在局部邻域内的线性重构关系,从而揭示数据的内在低维流形结构。

wwl412095144的博客 1248

关于Selenium3在MicrosoftEdge浏览器中出现的问题

前言 最近在做web自动化测试,所用环境是java+selenium3.141.59+MicrosoftEdge(Chromium)浏览器。 在调试的过程中,出现了很多问题。比如selenium3在Edge浏览器中远程调用中,不支持addArguments方法等 问题 1.Edge浏览器弹窗问题 在测试过程中,会出现弹出窗提示 ...

zhucheng1994的博客 2208

降维算法 ❉ 局部线性嵌入(Locally Linear Embedding,LLE)

局部线性嵌入(Locally Linear Embedding,LLE)是一种用于维数约减的非线性技术,由Sam Roweis和Lawrence Saul于2000年提出。LLE的目标是在低维空间中保持数据点之间的局部邻域结构,同时尽可能保持全局结构。

weixin_43156294的博客 1398

别再纠结选哪个向量库了!我用Spring AI + Redis Stack 7.2,5分钟搞定企业知识库RAG原型

本文介绍了如何利用Spring AI和Redis Stack 7.2快速构建企业级RAG应用,解决向量数据库选型难题。Redis Stack 7.2集成了RediSearch模块,支持向量相似性搜索,具备高性能、低成本、零学习成本等优势,特别适合中小团队快速搭建知识库系统。通过实战代码示例,展示了从环境准备到核心功能实现的完整流程。

weixin_29061041的博客 276

[HBM] RAM Cell Self Repair | 内存单元自我修复

对抗错误的大都是冗余,内存颗粒在设计的时候也考虑增加冗余。具体的说:添加冗余或备用的存储单元行和列,及时将测试中的故障进行修复和替换,存储器修复包括行修复,列修复或两者的组合。

串起点滴 786

多维缩放、主成分分析法、等度量映射、局部线性嵌入等降维方式实现搭建特征工程(内附Python实例)

读了周志华老师写得《机器学习》降维的一部分知识后还是觉得这一部分有一点不一样的感悟,感觉很多情况下在数据分析时都可以用到,而且现在操作也非常简单,只需要调用sklearn库中函数即可,可以让大家快速上手使用

Love And Program的博客 1906

三态门Multisim电路仿真——硬件工程师笔记

三态门原理及应用摘要 三态门是具有高电平(1)、低电平(0)和高阻态(Z)三种输出的逻辑电路,通过使能端(EN)控制状态切换。高阻态时输出端等效断路,避免信号冲突。其核心应用包括: 总线系统:多设备共享总线时,仅使能选中设备的三态门,其余保持高阻态,防止干扰。 数据选择器:利用三态门切换多路输入信号,简化电路设计。 实现方式分两种: TTL三态门(三极管构成):低电平使能有效,仿真验证输出逻辑与高阻态。 MOS三态门(MOS管构成):高电平使能有效,仿真显示使能信号控制输出状态。 文中还附硬件工程师笔试面试

XU157303764的博客 2014

机器学习(33)之局部线性嵌入(LLE)【降维】总结

微信公众号关键字全网搜索最新排名【机器学习算法】:排名第一【机器学习】:排名第一【Python】:排名第三【算法】:排名第四前言局部线性嵌入(Locally Linear Embedding,简称LLE)也是非常重要的降维方法。和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,它广泛的用于图像图像识别,高维数据可视

机器学习算法与Python学习 3583

基于粒子群优化的PID控制在药液流量控制系统中的应用

本文提出了一种基于粒子群优化(PSO)的PID控制算法,用于药液流量控制系统。系统采用C37控制器和Codesys 2.3编程环境实现,通过传感器实时监测流量、压力和车速,并控制水泵占空比和电动球阀开度来精确调节药液流量。硬件配置包括FT-2000流量传感器、PT-3000压力传感器和MV-500电动球阀等。控制算法将PSO与PID结合,使用ITAE指标优化PID参数,在Codesys中实现了包含PSO优化循环、PID控制等功能的程序模块。该系统通过分层控制策略和智能优化算法,提高了药液流量控制的精度和响应

AI的内部世界的博客 250

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

上一篇: 树莓派Pico开发环境避坑指南:Windows下VSCode+SDK完整配置流程(附离线包)
下一篇: 51单片机实战指南:定时器中断与LED控制的完美结合
人间清醒863
博客等级 码龄3年 33粉丝 1544原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值