NMF与LSA时间复杂度分析

聚类_21范数_NMF_非负矩阵分解:Robust Manifold Nonnegative Matrix Factorization 将21范数应用到NMF的一篇论文,写的有些简略,后面有时间再补充 Abstract 非负矩阵分解(NMF)是用于数据分析的应用最广泛的聚类技术之一。 由于目标函数中含有每个数据点的平方残差误差,因此易受极端值影响。 本文提出鲁棒流形非负矩阵分解(RMNMF)方法,使用21范数,并在相同的聚类框架下集成NMF和谱聚类。 本文还指出了现有NMF方法的解决方案唯一性问题,并提出了一个额外的正交约束... 阅读详情

NMF与LSA时间复杂度分析

——2018.5.24于TJU QQ:1219154092

一、LSA

浅层语义分析(LSA)通过“矢量语义空间”来提取文档与词中的“概念”,进而分析文档与词之间的关系。LSA的基本假设是,如果两个词多次出现在同一文档中,则这两个词在语义上具有相似性。LSA使用大量的文本上构建一个矩阵,这个矩阵的一行代表一个词,一列代表一个文档,矩阵元素代表该词在该文档中出现的次数,然后再此矩阵上使用奇异值分解(SVD)来保留列信息的情况下减少矩阵行数,之后每两个词语的相似性则可以通过其行向量的cos值(或者归一化之后使用向量点乘)来进行标示,此值越接近于1则说明两个词语越相似,越接近于0则说明越不相似。

如图所示,奇异值分解,就是把上面这样一个大矩阵,分解成三个小矩阵相乘。三个矩阵有非常清晰的物理含义。第一个矩阵X是对词进行分类的一个结果。它的每一行表示一个词,每一列表示一个语义相近的词类,或者简称为语义类。这一行的每个非零元素表示这个词在每个语义类中的重要性,数值越大越相关。如下所示:


二、NMF

非负矩阵分解(Non-negative Matrix Factor),简称NMF,是由Lee和Seung于1999年在自然杂志上提出的一种矩阵分解方法,它使分解后的所有分量均为非负值(要求纯加性的描述),并且同时实现非线性的维数约减。

NMF的思想:V=WH(W权重矩阵、H特征矩阵、V原矩阵),通过计算从原矩阵提取权重和特征两个不同的矩阵出来。属于一个无监督学习的算法,其中限制条件就是W和H中的所有元素都要大于0。

 

三、MATLAB小实验分析

实验运行环境:Win10,Matlab R2017b,16G内存,Intel Core i7-6700HQ   CPU@2.60GHz

实验数据设置:

实验随机生成1000×1000的矩阵m,分别进行NMF与LSA运算。

实验程序见笔者博客上传资源部分中的Test_LSA.M与Test_NNMF.M文件附件代码。

四、时间复杂度比较

1、LSA时间复杂度

LSA算法的核心在于奇异值分解,而奇异值分解一般分两步进行。首先,将矩阵A变换成一个双对角矩阵,这个过程的计算量为O(MN2)。第二步是将双对角矩阵变成奇异值分解的三个矩阵,这一步的计算量可以忽略不计。所以,综上所述,对于一个 m×n 矩阵,用LSA降维至m×r,进行SVD的时间复杂度是O(mn2), 并且,对一个较大的稀疏矩阵,LSA降维的计算复杂度可降至: O(cmn),其中,c<n 为行非零元素个数的平均值。

2、NMF时间复杂度

NMF算法的时间效率取决于迭代的次数, 变化幅度也较大。 

8、推特数据的商业智能分析与网络威胁检测分类 本文探讨了如何利用推特数据进行商业智能分析与网络威胁检测分类。在商业智能分析部分,通过主题建模和情感分析,提取推文特征并绘制图表,帮助企业了解客户情感、发现产品优劣势并制定商业策略。在网络威胁检测分类部分,使用双向长短期记忆(BiLSTM)模型对推文进行多级分类,实现对网络威胁的识别与细分,提升网络安全防护能力。文章还展望了这两个领域的未来发展方向,包括多源数据融合、实时分析预测、模型优化及多模态数据处理等,为企业的决策支持和网络安全提供了新的思路。 阅读详情

相关推荐

【信息科学与工程学】【人工智能】第一篇 人工智能算法知识库01

编号格式说明示例数量分配​8位数字,前2位主类,中间2位子类,后4位序号99,999,999个。

weixin_49199313的博客 1878

机器学习中SVD总结

本文同步更新在我的微信公众号里。地址:https://mp.weixin.qq.com/s/Dv51K8JETakIKe5dPBAPVg本文同步更新在我的知乎专栏里面:机器学习中SVD总结 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/370385421.矩阵分解1.1 矩阵分解的作用. 矩阵填充(通过矩阵分解来填充原有矩阵,例如协同过滤的AL...

Microstrong 4725

从0到1:.NET 9 OpenAPI全攻略!Swagger vs Scalar UI谁更强?

OpenAPI:.NET 9的智能文档革命 本文深入解析.NET 9的OpenAPI支持,对比Swagger UI与Scalar UI的优劣,提供实战代码示例: 一键生成:AddOpenApi()+MapOpenApi()快速生成标准文档 UI工具对决: Swagger UI功能全面但复杂 Scalar UI简约现代,原生支持cURL/HTTPie 进阶技巧: XML注释增强文档可读性 自定义Transformer实现文档动态修改 🔥核心价值:.NET 9的OpenAPI方案显著降低API文档维护成本,开

java专栏 1430

SK-Learn使用NMF(非负矩阵分解)和LDA(隐含狄利克雷分布)进行话题抽取

英文链接:http://scikit-learn.org/stable/auto_examples/applications/topics_extraction_with_nmf_lda.html 这是一个使用NMF和LDA对一个语料集进行话题抽取的例子。 输入分别是是tf-idf矩阵(NMF)和tf矩阵(LDA)。 输出是一系列的话题,每个话题由一系列的词组成。 默认的参数(n_sam...

weixin_34072458的博客 390

Cherry Studio部署MCP服务报错全记录:从零解决‘Connection closed‘问题

本文详细记录了在Cherry Studio中部署MCP服务时遇到‘Connection closed’报错的完整排查与解决过程。文章从环境依赖(UV、Bun)的安装验证、绝对路径配置、网络镜像源设置,到服务端手动调试与Cherry Studio配置检查,提供了一套系统性的解决方案,帮助开发者彻底解决此类连接问题。

g9h0i1的博客 767

Python爬虫(一)京东商品价格及详情页抓取

这是一个以http://item.jd.com/2957726.html为例的单网页抓取案例 import urllib.request; #载入urllib.request,用于获取页面html源代码 from pandas import Series; #载入series包 from pandas import DataFrame; #载入dataframe包 from bs4 impo

Data Proc 1万+

矩阵相关计算中时间复杂度分析

1.矩阵求逆 伴随矩阵 A−1=A∗det(A)A^{-1} = \frac{A^{*}}{det(A)}A−1=det(A)A∗​ ---- N*O(N!)O(N!)O(N!)+N2∗O((N−1)!)N^{2}*O((N-1)!)N2∗O((N−1)!) 矩阵分解 A=LU⟹A−1=U−1A−1A=LU \Longrightarrow A^{-1}=U^{-1}A^{-1}A=...

qq_23174517的博客 1万+

RK3588 hdmirx 调试(含v4l2工具,edid编辑)

RK3588 Buildroot系统中调试HDMI-RX的过程,包括抓图、修改EDID数据、编辑EDID等操作。首先,通过logcat和寄存器信息查询HDMI-RX的状态,使用v4l2-ctl工具进行测试和修改EDID。

501846585_QQAndroid_java 2687

[Math]常见矩阵分解及复杂度 Cholesky QR LU

常见矩阵分解及数值算法分析

te_sun的博客 7654

GlobalBuildingAtlas 建筑物白模数据下载

GlobalBuildingAtlas基于OSM开源数据构建全球建筑物3D白模,提供在线浏览和下载服务。官方资源包括GitHub项目地址和TUM数据库链接,支持行政区划检索建筑物数据。

一醉千秋的专栏 543

PCL Fast Global Registration 快速全局配准(源码版)

Fast Global Registration(FGR)是一种经典的点云粗配准算法,已集成到Open3D和CloudCompare等软件中。本文介绍了该算法的源码实现及优化方法,包括如何通过修改源码直接读取点云进行配准,而不依赖文件中读取特征描述子。文章还提供了关键参数设置(如最大迭代次数、匹配距离等)。算法实现简单高效,未来计划发布基于纯PCL的版本。源码和论文链接已附上,供开发者参考。

点云侠的博客 383

汉诺塔移动过程打印(Python & 递归)

汉诺塔 (http://baike.baidu.com/view/191666.htm) 的移动也可以看做是递归函数。 我们对柱子编号为a, b, c,将所有圆盘从a移到c可以描述为: 如果a只有一个圆盘,可以直接移动到c; 如果a有N个圆盘,可以看成a有1个圆盘(底盘) + (N-1)个圆盘,首先需要把 (N-1) 个圆盘移动到 b,然后,将 a的最后一个圆盘移动到c,再将b的

wyg1997 3218

如何用libwebsocket库在stm32F407上实现websocket客户端?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 1137

稀疏与稠密表示的融合:特征哈希与低秩分解在NLP中的实践

自然语言处理中的文本表示长期面临维度灾难与存储开销的博弈。稀疏表示(如词袋模型、TF-IDF)可解释性强但维度随词表膨胀,稠密表示(如词嵌入)语义丰富但丢失了精确匹配能力。本文聚焦两种在稀疏与稠密之间架设桥梁的关键技术:特征哈希通过哈希函数将高维稀疏特征映射至固定维度稠密向量,以极低内存代价实现大规模特征压缩;低秩分解则通过奇异值分解、非负矩阵分解等方法,从高维稀疏共现矩阵中提取潜在语义因子,生成紧凑的稠密表示。文章深入剖析两种技术的数学原理、适用场景与工程实现细节,并结合文本分类、主题建模、在线学习等实际

AladdinEdu,你的AI学习实践工作坊。让想法落地,让研究加速。助力高校AI人才成长,点亮创新未来。 268

【报错解决】OpenClaw 报错 `openclaw: command not found`:全局命令未加入系统 PATH 的深度排查与修复指南

在国产AI工具链开发中,OpenClaw作为关键命令行工具常出现command not found报错。本文深度分析该问题的根源——Linux环境变量PATH未包含用户级安装目录(~/.local/bin)。通过四种解决方案(临时PATH修改、永久配置、软链接、虚拟环境处理)和排错Checklist,揭示"命令存在却找不到"的本质是路径配置问题,特别适用于Docker/国产Linux/非root环境。文中强调理解Linux工具链机制对国产AI开发的重要性,并指出这是开发者掌握环境

博客 5385

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

矩阵特征值分解与svd分解学习笔记

目录: 矩阵分解 1.1 矩阵分解作用 1.2 矩阵分解的方法 1.3 推荐学习的经典矩阵分解算法 SVD具体介绍 2.1 特征值、特征向量、特征值分解 2.2 SVD分解 2.3 SVD分解的应用 矩阵分解 1.1 矩阵分解作用 矩阵填充(通过矩阵分解来填充原有矩阵,例如协同过滤的ALS算法就是填充原有矩阵) 清理异常值与离群点 降维、压缩 个性化推荐 间接的特征组合(计算特征间相似...

ODIMAYA的博客 2094

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

降维技术的艺术与科学:从数据压缩到信息保留的平衡术

本文深入探讨了降维技术在数据科学中的应用,重点分析了如何在数据压缩与信息保留之间找到最佳平衡点。文章详细介绍了PCA、t-SNE等主流降维方法,以及如何评估降维效果的关键指标,为处理高维数据提供了实用策略。通过实际案例展示了降维技术如何提升模型性能和计算效率。

rl6adventurer的博客 1011

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

算法工程师面试准备——数学

文章目录矩阵分解概率贝叶斯概率贝叶斯优化 矩阵分解 概率 贝叶斯概率 贝叶斯优化

iwtbs 1116

奇异值分解(SVD)时间复杂度分析与优化

奇异值分解是一种矩阵分解的方法,大学线性代数里面也讲过奇异值分解的方法,因此这是一个为大家所熟知的算法。

哦豁灬 1万+

机器学习笔记(七)-主成分分析PCA

这篇博文主要介绍了,PCA主成分分析。首先通过几何概念引出维度爆炸带来的问题,接下来通过PCA数据降维来解决之。在主讲PCA内容时主要介绍了:经典主成分分析、最大投影方差、最小重构距离,SVD奇异值分解。最后通过Python实现PCA。这篇文章就到这里了,欢迎大佬们多批评指正,也欢迎大家积极评论多多交流。

Blessy_Zhu的博客 6489

C语言经典算法之矩阵分解算法(伪代码)

矩阵分解是线性代数中的重要概念,在数值分析、科学计算、机器学习等领域有广泛的应用,尤其是在推荐系统、数据降维和解决线性方程组等问题中尤为常见。

weixin_56154577的博客 1962

推荐算法——非负矩阵分解(NMF)

一、矩阵分解回顾在博文推荐算法——基于矩阵分解的推荐算法中,提到了将用户-商品矩阵进行分解,从而实现对未打分项进行打分。矩阵分解是指将一个矩阵分解成两个或者多个矩阵的乘积。对于上述的用户-商品矩阵(评分矩阵),记为Vm×nV_{m\times n},可以将其分解成两个或者多个矩阵的乘积,假设分解成两个矩阵Wm×kW_{m\times k}和Hk×nH_{k\times n},我们要使得矩阵Wm×kW

null的专栏 3万+

常见算法时间复杂度

常见算法时间复杂度: O(1): 表示算法的运行时间为常量 O(n): 表示该算法是线性算法 O(㏒2n): 二分查找算法 O(n2): 对数组进行排序的各种简单算法,例如直接插入排序的算法。 O(n3): 做两个n阶矩阵的乘法运算 O(2n): 求具有n个元素集合的所有子集的算法 O(n!): 求具有N个元素的全排列的算法优<----------------------<劣 O(1)

大漠雁 4327

NMF 非负矩阵分解 -- 原理与应用

1.原理发现写关于非负矩阵的博文还是蛮多的,还是以自己的角度总结一下自己的最近看的若干东西以及对非负矩阵分解有用的一些资料链接。NMF,全称为non-negative matrix factorization,中文呢为“非负矩阵分解”。NMF的思想:V=WH(W权重矩阵、H特征矩阵、V原矩阵),通过计算从原矩阵提取权重和特征两个不同的矩阵出来。属于一个无监督学习的算法。

qq_26225295的博客 5万+

LSI(SVD)、NMF的理解及推导

       主题模型,是一种语言模型,是对于文字中隐含的主题的一种建模的方法。对于主题模型的副产品,一个很重要的应用在于用主题模型方法来抽取词向量,其中,LSI方法是词向量分布式表示方法中的syntagmatic model中的典型代表,利用了词之间的共现情况,也就是利用到了相似的词出现的语境类似的特性,然后得到词向量的表述,是一种基于矩阵(基于计数)的词向量抽取模式。 ...

赵小越的博客 1402
上一篇: 小思——知识图谱
下一篇: 辨析range、xrange 和 randrange函数
小亮 Play NLP
博客等级 码龄11年 229粉丝 34原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值