Spectral Grouping Using The Nystrom Method

5.23 Nyströmformer 💖💖感谢各位观看这篇文章,💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力!💖💖 💖💖感谢你的阅读💖,专栏文章💖持续更新!💖关注不迷路!!💖 🥝🥝 Nyström 方法 🥝🥝 Nyström 方法用于矩阵逼近 🥝🥝 Nyströmformer 阅读详情
Spectral Grouping Using The Nystrom Method (2004 IEEE)
背景:谱聚类算法的大致步骤是,求数据集之间的相似度矩阵,并构造出相似度图,然后求得某种形式上的 Laplacian Matrix(L, Lrw或者Lsym),然后求laplacian matrix的前K个特征向量,随后以k个特征向量组成的矩阵U的前K个行向量作为输入,运行k-means算法,得到最后的聚类结果。这要求对整个数据集进行处理,在很多应用中是不符合实际的。把Nystrom Method应用到聚类算法上,求解得到通过样本集的相似度矩阵得到的Laplacian Matrix的特征向量,通过局部数据的特征向量推导出整个数据集的特征向量的近似值,可应用于当数据规模巨大时运行谱聚类算法的场景。
Nystrom Method
Nystrom Method用于求解如下形式的积分方程:
Spectral Grouping - leon - Fly Freely
在[a,b]中间取n个均分点,并运用矩形公式将积分写成数值计算的形式:
Spectral Grouping - leon - Fly Freely
特殊地,令[a,b]为[0,1],于是上面的式子可以表示成矩阵形式: Spectral Grouping - leon - Fly Freely。于是得到Nystrom Extension公式:
Spectral Grouping - leon - Fly Freely(1)
利用这个公式,可以实现背景中所述的目的。
运用于矩阵的估计和矩阵特征值的估计
A为样本点集合的相似度矩阵,C为非样本点集合的相似度矩阵,B是所有样本点和非样本点之间的相似度构成的矩阵。下面将使用上式,用A,B表示出C的估计值。,从而得到整个相似度矩阵。
这是原始矩阵,包含了整个数据集中任何两个点之间的相似度。
Spectral Grouping - leon - Fly Freely
Nystrom Extension的矩阵形式为 Spectral Grouping - leon - Fly Freely(可推导),其中U是样本集的特征向量构成的矩阵(见Tutorials中U的定义),通过(1),得到W的特征向量的估计和W本身的估计:
Spectral Grouping - leon - Fly Freely
Spectral Grouping - leon - Fly Freely
Nystrom extension可用BTA-1B对C进行估计,于是,可以用||C-BTA-1B||作为以上近似运算准确性的衡量。
应用于NCut和基于Lrw的Normalized Clustering
论文的第三部分还分别讨论A是正定矩阵和非正定矩阵这两种情况下构造W的近似表示的方法。应用于基于NCut的聚类时,可以通过W的近似结果将D-1/2WD-1/2的近似结果表示出来,从而在求解Lsym的这一步骤,避免了处理整个数据集的问题,提升了整个算法的性能。最后,根据Fisher criterion的度量方法,结合大量实验,对算法做了性能和误差的分析。论文比较了在稀疏表示下,Nystrom Approximation方法和dense solution的估计结果。对于有许多0或者近似为0的元素时,前者的估计非常准确且很好地保留了特征状态。但是这种方法依然需要O(N2)的时间复杂度来计算亲和度(除了需要计算A,还需要计算B),原文中的Fig.3列出了在实验中对于同一个图像,对于不同的样本集规模应用近似算法求得特征向量近似结果的评估值(基于Fisher criterion)。
Spectral Grouping - leon - Fly Freely
图中,a)是150个输入点,b)是150个Normalized Laplacian矩阵的特征向量,其中1-50是聚成堆状的50个点对应的特征向量。c)显示了采用高斯加权的欧氏距离计算相似度时,参数的不同取值对应两个cluster之间的距离。d)e)f)比较了两种算法的性能度量。
我的想法:
1,如果在聚类时使用k近邻图(k-nearest neiborhood graph)作为相似度图,用高斯加权的欧氏距离公式Sij=exp(-||xi-xj||2/(2d2)),那么是否有方法能够优化参数d和k,使得聚类结果最优?
Tutorial of the Spectral Clustering 中的 8.1.3 讲到,求解最优的k,目前极少的文献可以指导我们完成这一工作。然而我们知道,参数k的选用应该至少使得图中的连通分量比目标聚类数少。
虽然不能确定相似度图的connectivity parameters,但是现有的许多方法能够选择最佳的目标聚类数k。例如,求矩阵的前k个较小的特征值后,如果第k+1个特征值较大,则目标聚类数选为k。
2,是否能够在实验中或理论中找到一个方法,比较和度量Tutorial中提到的三种谱聚类算法的聚类结果?
从图的分割的角度,聚类的优化目标有二,1,类间相似度和最小;2,类内相似度和最大。因此可以通过比较类间相似度和以及类内相似度和这两个量,定量地衡量聚类算法的性能。
同时达到两个目的的,是NCut和MinmaxCut(其中根据分析,前者优于后者),而来源于RatioCut的unnormalized clustering算法只达到了第一条目的。这个角度上说,采用Lrw作为拉普拉斯矩阵的归一化谱聚类算法是最优的。
以上结果有待在具体实验中展现。
精读:
[1] 2007 Springer. Ulrike von Luxburg, A Tutorial on Spectral Clustering.
介绍了laplacian graph,similarity graph等谱聚类基础知识,以及利用三种laplacian graph进行聚类的谱聚类算法极其来由。最后介绍了诸如拉普拉斯矩阵的选择,聚类参数的选择,特征向量的求解等子问题的求解方法和进展。
[2] 2004 IEEE. Charless Fowlkes, Serge Belongie, Fan Chung, and Jitendra Malik, Spectral Grouping Using the Nystrom Method.
介绍了将用于求解积分方程的Nystrom method通过变换,用于聚类算法的方法,这么做的好处,是通过对数据集中的抽样数据集进行Nystrom approximation,通过样本集的相似度矩阵估算出整个数据集的相似度矩阵,通过样本集的拉普拉斯矩阵的特征向量估算出整个数据集的拉普拉斯矩阵的特征向量,从而大大降低了处理大数据谱聚类问题的计算开销。
[3] 2008 ICML. Kai Zhang, Ivor W.Tsang, James T.Kwok, Improved Nystrom Low-Rank Approximation and Error Analysis.
小秩矩阵估计有许多方法,贪心算法,Nystrom Method和随机化算法。而其中Nystrom的性能和效率较高。该文首先对Nystrom approximation进行误差分析,并据此提出用KM算法求解landmark points从而得到样本集,并验证了这种方法由从算法的时间复杂度和为Nystrom low-rank approximation抽样时所带来的误差大小上,效果都优于前面三种抽样方法。
[4] 2009 KDD - Fast Approximating Spectral Clustering
说明了Nystrom low-rannk approximation的缺陷
1,抽样时,并不关系相似度矩阵包含的信息(描述太抽象,不理解)。
2,空间复杂度大(不仅使用了样本集,未被采样的数据点集合也参与了计算,参考精读[2],C是由A和B同时参与计算得到的)
3,如果原数据集是不平衡(unbalanced,这个概念在 2007 IEEE A Tutorial on the spectral clustering 中提到,和指示向量是否相互正交化有关)的,可以用于计算的样本集将会很小,这将很大程度影响最后计算结果的准确度。(精读[3]中提到,用k_means方法采样使得Nystrom low-rank approximation的误差达到接近最小化的程度,但确实也回避了原数据集不平衡的问题)
随后提出了自己的框架FASP,并在此框架下设计了采用K-Means的KASP和采用随机游走的RASP,通过实验说明了框架的优势:在聚类效果上牺牲了极小的代价,换来了计算的时间复杂度和空间复杂度很大的节约。随后通过微扰理论为框架提供了一定的理论支持。(个人认为该文章是先作出FASP优于其他算法的猜想,再用实验验证,最后理论上分析算法的误差和性能。)
[5] 2011 AISTATS Dimension Reduction for Spectral Clustering
其一,髙维度的数据点构建NN(近邻)图时会失效,原因是维度太高时,两点之间的距离将趋于常数;其二,谱聚类具有很大的灵活性,可用于许多数据类型的处理,但其致命弱点是对不重要的数据和噪点非常敏感。DRSC的目的是将原本高维数据降到线性空间,以便于作为谱聚类算法的输入;并因为降维时为了求降维子空间,用到的优化目标函数和Lsym谱聚类算法的优化目标函数相同,作者尽可能地将它与谱聚类算法结合起来。
DRSC是一个迭代算法次。对于一个数据集X,通过迭代最终求得它在central subspace上的正交投影。
引用次数仅1次的这篇论文,引用了许多论文,用到很多其他的理论,要弄懂这篇文章,需要阅读甚至精读很多参考文献,任务繁重。在阅读完它的重要参考文献(包括SDR等)之前,还没明白算法的由来。
[6] 2008 [NIPS] Spectral clustering with perturbed data
这篇目前引用量是43的文章,可以说是FASP框架灵感的来源。这篇文章沿着谱聚类(确切说,是bipartition)的算法流程,从数据集X上的扰动开始到相似度矩阵K的扰动、拉普拉斯矩阵Lrw的扰动,最终分析得到此扰动对谱聚类结果的影响(mis-clustering rate)的上界。
作者在分析中发现,聚类效果很大程度受到数据的均方差的影响,因而认为减小均方差可以提高聚类的准确性。实际上FASP确实是在实施聚类之前对数据进行预处理,达到上述目的。【鸣谢 FIATLUX】
[7] 2006 [ICDM] Fast and extract out-of-core K-means clustering
K-Means虽然被称为是一种简单快速的方法,但是每次更新质心时,所有的数据点都需要参与计算,实际运行效果有待改善,而改善的空间在于,导致质心的位移的数据点只有簇的边界点。前人很多工作为了加快KM,都付出了准确度上的代价,FEKM的优势在于,提高了算法效率的同时还能精确地计算出一组质心,它和直接对大数据实施KM得到的一组质心是相同的。FEKM还有对抽样规模不敏感等优点。但是仍未解决KM原生的诸如对离群点和噪点敏感等许多问题。
作者用归纳方法对算法的正确性给出了证明。
[8] 1999 [ICDT] When is nearest neighbor meaningful[cited 1301]
引用次数上千,是研究NN和降维的重要文献。其中讨论了髙维度空间上NN失效的问题,用Slutsky定理给出了证明了满足一定条件时,维度的增大将导致数据集中各点的距离趋于相等。并通过实验找到了一个维度上限的经验值15,并且对满足不同概率分布的数据集进行了大致分析,分析此数据是否存在高维NN失效的问题。
[9] 2003 [Citeseer] A Comparison of Spectral Clustering Algorithms
这篇对比分析性的文章比较了当时最提出的四种主要的谱聚类算法(该文章作者也是提出了其中两种算法的大牛)。分为两类:迭代的和非迭代的。理论上证明了将Lsym和Lrw两个矩阵作为L的两种算法(NJW和Meila-Shi算法)是等价的。并用实验结果分析比较了四种算法,不过,作者并没有达到文章开始提到的“ find out which of the sub-components are important and which not,and to see if some combinations of these works the best.”的目的,目前的谱聚类算法的主体,仍然没超越大牛当年的思想。
[10]2013 A Comparative of Initialization Methods of K-Means
从1965年的文献开始,罗列了许多IMs of KM。依次介绍了各个方法及其优缺点,并从复杂度角度比较了两种复杂度的算法及其应用。作为一篇导论性或综述性的文章具有一定可读性。
泛读:
[1] 1997 Graph Theory, Combinatorics and Application. Bojan Mohar, THE LAPLACIAN SPECTRUM OF GRAPHS.(被精读[1]所引用)
系统地介绍了拉普拉斯图极其性质。
[2] 2002 [Springer Annals of the Institute of Statistical] SDR and Graphics in Regression
主要阅读了SDR部分,介绍Sufficient Dimension Reduction,一种监督降维方法。引用次数为32,许多论文在此基础上提出了其他的降维方法和应用。
学习了谱聚类的算法,以及unnormalized spectral clustering和采用Lrw的谱聚类算法这两种聚类算法的来由后,继续学习了采用Lsym的谱聚类算法的原理。在 Setc.5.4 中有所阐述,原理和推导和前面类似。
Sect.6介绍了随机游走,Sect.7介绍的微扰理论是一种重要的近似方法,分别就两个不同角度解释了why spectral clustering works这个问题。Sect 8从实现的细节这个角度,继续阐述谱聚类算法的一些重要细节。本篇笔记将在今后继续完善下去。
用于求解积分方程的 Nystrom Method 可用于用小样本估测整个数据集的相似度矩阵的特征向量,在谱聚类算法尤其是基于NCut的谱聚类算法中有重要应用,故本周主要阅读了2004 IEEE的Spectral Grouping Using the Nystrom Method。
Sect 8.1 相似度图
首先看相似度函数。
1,被相似度函数“认为”相似度大的点,实际情况应该是确实更接近。反之亦然。
2,全局的、绝对的相似度并不重要,两点之间的相似度是0.1或者0.01并不重要,因为0.01和0.1都是很小的相似度,除非用全连通图(就算是全连通图,那些很小的相似度也不影响聚类结果,并不因为两点之间有一条权值很小的边,就将两点聚为一起),在图中,这两个点不会被一条边连接。
3,相似度函数的选用和数据定义域和数据的分布有关系。一般情况下选用高斯化欧氏距离函数是合适的。
相似度图:
1,e-图难以确定合适的e,因为一个数据集中可能存在不同的数据分布。
2,Mutual KNN相对于KNN的优点:可以避免将密度不同的两“堆”点连接起来。缺点,可能造成相似度图中边太少的问题。
3,全连通图也是一种选择,不过它将导致得到的拉普拉斯矩阵不是稀疏矩阵,在求特征向量时,将增大计算开销并影响准确度。
4,一般情况下,推荐使用KNN。
Sect 8.2 计算特征值
1,如果是KNN或者e-图,L将是稀疏的,此时有许多方法求解L的特征向量:the power method、Krylov Subspace method、Lanczos method等等。
2,典型算法的收敛速度为rk=|eigval(k)-eigval(k+1)|。
2,如果特征值有重根,比如当有k个不相连的类(相似度图有k个连通分支)则有k个为0的特征值。
Sect 8.3 最佳的k(类的个数)
eigengap heuristic 方法:如果前k个特征值较小,而第k+1个特征值较大,则聚类的类个数选为k。(如此说来,这种方法可配合计算特征值和特征向量使用。)
这种方法在各个cluster分开得很明显的情况下,否则如果受到过多噪声的影响,或者类之间的相互覆盖很严重,则这种方法有效性欠佳。
Sect 8.5 Laplacian 图的选择。
选择通过哪一个拉普拉斯矩阵的特征向量来聚类,是一个重要的问题。用L,Lrw和Lsym都可以达到聚类的目的。经过实验,三者的效果是有差别的。一般而言,归一化的谱聚类算法优于未归一化的谱聚类算法,而前者中,采用Lrw的算法优于采用Lsym的算法。
首先回顾聚类的目的。在Sect 5中一直将聚类看成一种最优化问题,具体而言需要优化的目的是要找到一个图的划分,使得:1,类间相似度最小,即cut(A,B)最小;2,类内相似度最大,即W(A,A)和W(A,B)最大。
假使k=2,A和B是V的两个割。W(A,A)=W(A,V)-W(A,B)=vol(A) - W(A,B)。所以为达到上面的优化目的,vol(A)必须最大化,cut(A,B)最小化。
而显然。NCut所解决的真是这个问题。故而,Lrw作为拉普阿斯矩阵是最合理的。NCut中含有vol(A)的优化问题,而,vol(A)=cut(A,B)+W(A,A) ,可是MinmaxCut只涉及到W(A,A)的优化,所以我们有理由相信,在谱聚类中,Lrw优于Lsym。
再看RatioCut,其优化目的是使得:1,cut(A,B)最小;2,|A|最大。但是类内相似度和集合中点的个数无关,而与集合中的点之间相似度有关。故而RatioCut对应的unnormalized spectral clustering算法不能很好地达到聚类目的。
本文引用了以下文章
http://blog.sciencenet.cn/blog-799581-626691.html
http://blog.sciencenet.cn/blog-799581-628674.html
http://blog.sciencenet.cn/blog-799581-626676.html
http://blog.sciencenet.cn/blog-799581-631128.html
【NeurIPS 2021】Softmax-free Transformer with Linear Complexity(数学概念补充) 【NeurIPS 2021】Softmax-free Transformer with Linear Complexity(数学概念补充)高斯核:正定核: 高斯核: 线性支持向量机 (Linear-SVM) 被用于线性可分的数据集的二分类问题,而当数据集不是线性可分的时候,需要利用到核函数将数据集映射到高维空间,这样数据在高维空间中就线性可分。 例如下面的数据就是线性不可分的: 这是一个在当前空间下不可分的情况,我们可以利用核函数将数据映射到高维空间: 这个线性平面,返回到原来空间就是一个形状类似椭圆的 阅读详情

相关推荐

融合Nystrom方法的谱聚类算法(NSDcut)的图像分割 (2012年)

为了克服谱聚类算法SDcut在计算相似度矩阵和拉普拉斯矩阵的特征值和特征向量时,比较耗时的缺点,提出了融合Nystrom方法的SDcut算法NSDcut,并应用于图像分割.该算法采用Nystrom方法构建相似度矩阵和计算相似度矩阵的特征向量,并用这些特征向量通过矩阵运算降低了SDcut算法中的相似度矩阵和拉普拉斯矩阵的阶,从而降低SDcut算法的时间复杂度.实验结果表明:NSDcut算法提高了SDcut算法的运行速度,同时也具有SDcut算法的聚类性能.

示例代码-Nyström method得到样本在核空间的近似表示

  Nyström method得到样本在核空间的近似表示   待续…   Nyström 近似表示实现示例代码:https://github.com/Kai-Xuan/MyNote/tree/master/ML/NYS-Apx/ [link]  

Kai-Xuan 2708

matlab代码sqrt-recursive-nystrom:Nyström核矩阵近似的递归重要性抽样

Matlab代码sqrt recursive-nystrom:Nyström方法的递归重要性采样 MATLAB代码实现了递归岭杠杆评分采样算法,该算法在(NIPS 2017)中开发。 安装 下载recursiveNystrom.m ,或直接将其包含在项目目录中。 有关用法的示例,请参见exampleApplication.m 。 用法 输入: recursiveNystrom(X,s,kernelFunc,accelerated_flag) X :具有n行(数据点)和d列(特征)的矩阵 s :Nyström近似中使用的样本数。 默认值= sqrt(n)。 通常应设置s <n。 kernelFunc :可以为某个正半定核计算X的核矩阵的任意子矩阵的函数。 有关实现的详细信息,请参见提供的示例gaussianKernel.m 。 默认值=高斯核,即e -γ|| x-y || 2 ,宽度参数γ= 1。 accelerated_flag :0或1,默认=0。如果该标志设置为1,则代码使用算法的加速版本,如的第5.2.1节所述。此版本将输出较低质量的Nyström近似值,但运行速度更快。 除非算

Day1,记录核近似方法nystrom

简单来说,它表明通过使用Nystrom方法求得的低秩逼近矩阵A_k∼可以很好地近似原始矩阵A,并且误差期望受到了一个与n/k有关的乘法因子的界限控制。此外,该不等式仅适用于对称正定核矩阵,对于其他类型的矩阵,可能需要采用其他技术来进行低秩逼近。其中一个小矩阵是通过随机选择原始矩阵的一部分列而得到的,另一个小矩阵则由完整矩阵对应的行和列组成。低秩逼近矩阵指的是对于任何给定的矩阵A,找到一个秩不超过r(r < rank(A))的矩阵B,使得||A-B||较小。- n是A的大小,k是低秩逼近矩阵A_k∼的秩。

qq_56173839的博客 1907

nystrom-attention:Nyströmformer论文中的Nyström自我注意的实现

Nyström注意 论文中的Nyström自我注意的。 安装 $ pip install nystrom-attention 用法 import torch from nystrom_attention import NystromAttention attn = NystromAttention ( dim = 512 , dim_head = 64 , heads = 8 , num_landmarks = 256 , # number of landmarks pinv_iterations = 6 , # number of moore-penrose iterations for approximating pinverse. 6 was recommended by the paper residual = True

通过希尔伯特空间嵌入Nyström进行大规模特征向量逼近

通过希尔伯特空间嵌入Nyström进行大规模特征向量逼近

论文阅读——“Learning Gaussian Process Kernels via Hierarchical Bayes“

研0学习笔记,本文介绍了一种使用分层贝叶斯框架从多任务学习问题中学习高斯过程协方差函数的新方法。

chococolate's coding space 506

爬取信用中国里面的行政处罚

result字段名为行政处罚文书号、处罚决定日期、处罚内容、处罚金额、违法事实、处罚机关、公司名称,行政处罚次数。file_path=r'E:\Data analyze\python\行政处罚爬虫/'#路径需要按实际修改。writer = pd.ExcelWriter('统计.xlsx')# 写入Excel文件。src_workbook=file_path+r'行政处罚(名单).xls' #表格名称也要更改。# keyword = input("输入爬取的公司全称必须是全称")

qq_42863025的博客 1676

一些公式/定理积累

积累一些可能会用的数学公式,有时可以作为简化计算、提升效率的小技巧。1. Woodbury Formula不想敲代码,直接截个wiki的图过来: 上面已经提到了这个公式的几种特殊情形,这里我们关注更简单的一种。当A是n阶单位阵,C是k阶单位阵时,有: (In+UV)−1=In−U(Ik+VU)−1V (I_n + UV)^{-1} = I_n - U(I_k + VU)^{-1}V 然后呢,

Bear_Kai的专栏 2744

安卓光速虚拟机ADB调试实战:从密钥配置到设备连接

本文详细介绍了在安卓光速虚拟机中进行ADB调试的完整实战流程。核心在于通过密钥配置解决设备未授权问题,并启用网络调试与端口映射,最终实现电脑与虚拟机的稳定连接。文章提供了从原理理解、脚本修改到实战命令和疑难排查的全方位指南,帮助开发者和爱好者高效利用光速虚拟机作为移动测试沙盒。

CAT789的专栏 570

把MinerU集成到Dify

本文介绍了如何将本地部署的MinerU与Dify平台进行集成。首先需要确保Dify和MinerU在Docker环境中正常运行,并通过配置虚拟网络实现互联。然后详细说明了在Dify平台安装MinerU插件的步骤,包括从插件市场搜索安装、配置连接参数等关键操作。特别强调了要等待MinerU容器完全启动(healthy状态)后再进行Dify配置,否则会出现连接错误。通过简单的URL指向和API密钥设置,用户即可实现Dify平台与本地MinerU算力网络的对接,为后续的AI应用开发提供基础支持。

lyxerlau的博客 315

常微分方程数值解笔记-4

多步法

m0_72708335的博客 974

激光定位算法竞技场:hdl_localization与Cartographer/AMCL的横向技术解剖

本文深入对比了hdl_localization、Cartographer和AMCL三种激光定位算法的技术原理与性能表现。通过UKF-NDT融合、图优化和粒子滤波等核心技术,分析了各算法在结构化环境、动态环境和大尺度场景下的适应性。实验数据表明,Cartographer在全局一致性上表现最优,而AMCL在动态环境中更具鲁棒性。文章还提供了算法选型指南和参数调优技巧,为工程实践提供参考。

weixin_29062865的博客 367

Nyström Attention: 使用Nyström方法近似自我注意力的实现

Nyström Attention: 使用Nyström方法近似自我注意力的实现 1. 项目介绍 Nyström Attention 是一个开源项目,基于Nyström方法近似标准自我注意力,以达到线性时间复杂度 (O(n))。这种方法使得对更长序列的自注意力机制应用成为可能。Nyströmformer 是此项目的核心模型,它在多项自然语言处理任务中表现出了与标准自我注意力相当的或更优的性能。 2...

gitblog_00527的博客 1142

STM32驱动数码管:从硬件连接到动态显示实现

本文详细介绍了使用STM32单片机驱动数码管的完整流程,从硬件连接到软件实现。内容涵盖共阳/共阴数码管原理、GPIO配置、段码表生成,并重点解析了多位数码管动态显示的核心技术,包括动态扫描原理、消影处理及实战代码,帮助开发者快速掌握这一嵌入式开发基础技能。

p5l2m9n4o6q的博客 576

别再死记硬背窗函数公式了!用MATLAB实战汉宁窗FIR滤波器,从频谱图看懂‘主瓣’和‘旁瓣’

本文通过MATLAB实战演示汉宁窗FIR滤波器的设计过程,帮助读者从频谱图直观理解主瓣与旁瓣的特性。文章详细对比了矩形窗与汉宁窗的频谱差异,并提供了高通滤波器设计的完整代码示例,适用于数字信号处理学习和工程应用。

weixin_30555125的博客 490

【微实验】谱聚类之大规模数据应用——Nyström 方法

本文探讨了Nyström方法在大规模数据处理中的应用,通过选取代表性样本(锚点)来近似全局结构,解决传统算法面临的计算瓶颈。文章首先以落叶知秋为喻,说明局部样本可反映全局特性;接着分析数据规模带来的计算挑战,指出核矩阵随样本量增长呈指数级膨胀的问题。Nyström方法通过四步实现降维:选取锚点、构建局部核矩阵、近似全局核矩阵、特征分解,将复杂度从O(n²)降至O(nm)。MATLAB实验对比显示,该方法在万级数据上能保持聚类精度,同时显著提升效率。文章强调这是一种"以小见大"的思维方式,

民乐团扒谱机的博客 881

从零到精通:BLDC电机驱动电路详解与设计思路

这套电机驱动电路从核心控制器到反馈采集模块,涉及了BLDC电机驱动的方方面面。每一个模块的设计和选择都需要综合考虑系统需求和实际使用环境。在实际应用中,很多细微的设计改进都会显著影响电机的运行性能。

weixin_43199439的博客 3109

西瓜书 第6章 支持向量机 读书笔记

第6章支持向量机(Support Vector Machine, 简称SVM) 1.间隔与支持向量 1.1超平面(w, b) 存在多个划分超平面将两类训练样本分开 目标:粗线体那个划分超平面所产生的分类结果是最鲁棒的,对未见示例的泛化能力最强 线性方程 其中w为法向量,决定超平面的方向,b为位移项,决定超平面与原点之间的距离 样本空间中任意点...

Gaia0321的博客 1223

Vue - 简约大气 404 页面

效果图 实现代码 复制即可。 <template> <div> <div class="error"> <!-- 图片可保存到本地 --> <img src="https://img-blog.csdnimg.cn/20210715111039922.png"> <p>抱歉!你访问的页面不存在或已删除 :( </p> <span class="back" @click="go(

🏆 前端领域优质创作者 3371

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

GRAIL Efficient Time Series Representation Learning论文阅读笔记(二)

GRAIL Efficient Time Series Representation Learning 有效的时间序列表示学习 作者 芝加哥大学的John Paparrizos和Michael J. Franklin PVLDB Reference Format:John Paparrizos and Michael J. Franklin. GRAIL: Efficient TimeSe...

qq_33654685的博客 832

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Windows下Anaconda+Pytorch环境搭建全攻略(含CUDA11.8配置避坑指南)

本文详细介绍了在Windows系统下使用Anaconda和PyTorch搭建深度学习环境的完整流程,包括CUDA11.8的配置与避坑指南。从硬件检查、Anaconda安装到PyTorch环境配置,提供了逐步操作指南和常见问题解决方案,帮助开发者快速搭建稳定高效的开发环境。

zzz56的博客 574

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

从ASIMO到现代工业:双臂机器人协同控制技术演进与开源方案对比

本文深入探讨了双臂协同控制技术从ASIMO到现代工业机器人的演进历程,对比分析了主从控制、力位混合控制等核心算法,并详细解析了ROS MoveIt!与商业SDK的开源方案。文章还介绍了精密装配、太空维修等典型应用场景的实现方案,以及仿人灵巧操作、人机协作安全等前沿研究方向。

pea55的博客 919

降维方法之LLE——Locally Linear Embedding及其拓展(上)

KLLE最先于2012年提出,关键是将数据映射到特征空间(类似于KPCA中讲数据映射到高维特征空间道理类似),并在特征空间中执行LLE的几个步骤,因此关键的点在于找到正确或者是合适kernel函数。(3)使用找到的相同权重,通过嵌入相邻点的线性组合嵌入每个点(即一个高维到低维的嵌入转换),可以理解为在高维空间中点之间的权重在落入低维嵌入空间后仍旧保持不变的权重。2005年提出的Incremental LLE是在使用已嵌入的数据来嵌入新接收的数据的方法,来处理实时更新的在线数据。

ZZX0804的博客 1426
上一篇: VS2010编译安装OpenCV2.4.3
下一篇: nmake
Vision_Learning
博客等级 码龄12年 55粉丝 83原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值