潜在语义索引(LSI)相关公式推导

最新推荐文章于 2025-11-14 16:20:56 发布
原创 最新推荐文章于 2025-11-14 16:20:56 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

本文详细介绍了奇异值分解(SVD)在潜在语义索引(LSI)中的应用过程，包括SVD的基本公式及其在文本降维、Term-Term及Docu-Docu关系计算中的应用，并给出了原始向量到降维向量的具体转换公式。
部署运行你感兴趣的模型镜像

 

LSI中SVD的相关公式推导

SVD的公式为

(公式0)

其中，U、V为正交矩阵，即 ， ，S为对角矩阵，即 。

利用矩阵计算法则，对上式进行分析得到

  (公式1)

经过svdlibc的计算，即可得到 、 和 ，利用上述三个矩阵我们来进行相关的计算。

如果 为 ，则上式可理解为：

N:   文本对于特征的原始向量空间

V:    文本降维后的数据空间，V的每一行为一个文本降维后的结果

U、S:     为变换矩阵集合

示意图如：

图1 Term-Document示意图

则，Term-Term关系的公式可表示为

(公式2)

Docu-Docu关系的公式可表示为

(公式3)

假设任意一篇文本的原始向量为 ，经过变换后的向量为 ，则

(公式4)

从而得到原始向量 的结果变换公式

 (公式5)

 

 

您可能感兴趣的与本文相关的镜像

Dify

Dify

AI应用
Agent编排

Dify 是一款开源的大语言模型（LLM）应用开发平台，它结合了 后端即服务(Backend as a Service) 和LLMOps 的理念，让开发者能快速、高效地构建和部署生产级的生成式AI应用。 它提供了包含模型兼容支持、Prompt 编排界面、RAG 引擎、Agent 框架、工作流编排等核心技术栈，并且提供了易用的界面和API，让技术和非技术人员都能参与到AI应用的开发过程中

metago
关注
潜在语义分析
TOUCH的博客
10-25 642
优点：能有效捕捉潜在语义，解决一词多义和多词一义问题；实现简单，基于成熟的SVD理论。缺点：计算复杂度高（SVD对大型矩阵耗时）；无法处理动态语料（新增文档需重新训练）；缺乏概率解释（难以量化语义关联的置信度）。适用场景：文本检索（如搜索引擎）、主题识别、文档聚类、同义词挖掘等NLP任务。
信息检索（七）-- 基于潜在语义分析 (LSI）的信息检索模型
weixin_41332009的博客
12-21 560
基于潜在语义分析 (LSI）的信息检索模型 （本章课上涉及到的内容 too mathy，这里去掉了不常用的过于复杂的数学内容） 1、用co-occurence来衡量词和词的相似度 term-term matrix: 词语的共现 每次选定一个中心词，有一个滑动的小窗，看context word落在以中心词为中心的小窗中。 举个栗子： term-document matrix：词语在不同的文档中出现了多少次，可以用它来做Latent Semantic Analysis(LSI) 举例： 但是，这样的
【潜在语义分析】LSI/LSA
夜阑卧听风吹雨，铁马是你，冰河也是你。
05-10 1602
LSA 背景介绍 文本挖掘中，主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾名思义，就是对文字中隐含主题的一种建模方法。 比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度，但是如果通过词特征来聚类的话则很难找出，因为聚类方法不能考虑到到隐含的主题这一块。 那么如何找到隐含...
潜在语义索引LSI
on the way
03-13 1402
潜在语义索引（Latent Semantic Indexing）与PCA不太一样，至少不是实现了SVD就可以直接用的，不过LSI也是一个严重依赖于SVD的算法，之前吴军老师在矩阵计算与文本处理中的分类问题中谈到：     “三个矩阵有非常清楚的物理含义。第一个矩阵X中的每一行表示意思相关的一类词，其中的每个非零元素表示这类词中每个词的重要性（或者说相关性），数值越大越相关。最后一个矩阵Y
27、潜在语义分析（LSA）
m0_56642803的博客
11-27 2508
本文介绍了潜在语义分析（LSA），详细介绍了单词向量空间和话题向量空间，潜在语义分析算法，以及非负矩阵分解算法，最后介绍了sklearn中的潜在语义分析的使用。
LSI(LSA)潜在语义索引原理及sklearn中的实现
_compiling的博客
07-28 3443
想要了解潜在语义索引的原理推荐以下三个链接，仔细看下就能基本掌握LSI的原理： 1.文本主题模型之潜在语义索引（LSI） 2.奇异值分解(SVD)原理与在降维中的应用 3.latent semantic analysis via the singular value decomposition LSI的核心在于svd，在sklearn中提供了svd的实现。具体接口如下： sklearn.
50、信息检索中的术语分布模型与潜在语义索引
最新发布
opencv7vision的博客
11-14 16
本文深入探讨了信息检索中的术语分布模型与潜在语义索引（LSI）技术。首先分析了泊松分布、双泊松模型、负二项分布及Katz的K混合分布在描述术语频率上的优劣，并推导了IDF与RIDF作为术语权重的理论基础。随后介绍了LSI如何通过奇异值分解（SVD）实现降维，利用术语共现信息捕捉潜在语义，提升检索准确性。文章还提出了将术语分布模型与LSI结合的综合应用流程，展示了其在语义理解与数据稀疏性处理方面的优势，并讨论了当前面临的计算复杂度、参数选择等挑战，展望了高效算法、自适应方法及深度学习融合的未来发展方向。
25、信息检索与网络搜索技术解析
meat5的博客
10-13 13
本文深入解析了信息检索与网络搜索中的关键技术，包括潜在语义索引（LSI）的原理、查询转换与优缺点，网络搜索的工作流程及页面质量评估方法如PageRank和用户行为分析，并探讨了元搜索的组合算法如CombMIN、CombMAX和CombSUM。同时展望了信息检索未来的发展趋势，涵盖语义理解深化、多模态信息检索和个性化搜索，旨在提升搜索的准确性与用户体验。
8、基于社会语义网络与半约束分层狄利克雷分配的文档处理技术
yhn4567890的博客
06-08 44
本文探讨了基于社会语义网络与半约束分层狄利克雷分配（HLDA）的文档处理技术。通过结合语言统计和社交网络分析，提出了一种新的关键词网络模型，用于动态定义文本相关性。针对传统文档聚类方法的局限性，设计了半约束HLDA算法，利用频繁项集和关键词先验知识优化聚类效果。实验结果显示该算法在多个指标上优于LDA、HLDA及半约束LDA。未来的研究方向包括社交媒体可视化、语义分析以及其在智慧城市等领域的应用。
39、基于潜在语义分析的快速无监督主题自适应方法
nft7creator的博客
10-10 9
本文提出了一种基于潜在语义分析的快速无监督主题自适应框架，适用于自动语音识别（ASR）和统计机器翻译（SMT）。通过扩展LDA为潜在狄利克雷树分配以建模主题相关性，并引入N-元语法版本放宽‘词袋’假设，结合分数Kneser-Ney平滑处理分数计数，提升了语言模型的上下文捕捉能力。在跨语言场景中，双语LSA实现了源语言到目标语言的主题迁移，支持跨语言语言模型、翻译词典及短语表自适应。实验表明，该框架在普通话和阿拉伯语ASR任务中显著降低错误率，在中英SMT任务中提升BLEU和NIST得分，同时分词细化有效降低
svdlibc:道格·罗德（Doug Rohde）的SVD C库的分支
05-12
道格·罗德（Doug Rohde）的SVD C库 好消息：从1.4版开始，SVDLIBC已。 是Doug Rohde的SVD矩阵分解的快速实现。 在以下情况下，它特别有效： 矩阵是稀疏的 只需要几个奇异值。 这些属性使其特别适合例如。 我在一个Amazon EC2 实例上进行了一个实验-可能是过大了-用70k×500k矩阵包含8M条目（密度：0.02％）。 以下是d不同值（=尺寸=奇异值的数量）的运行时间： -d 50 ：39s墙壁时间 -d 300 ：4m53s挂墙时间 -d 1000 ：31m48s墙壁时间 为什么要这个叉子？ 该库的最新正式发行版（版本1.34）可追溯到2005年。它有一些怪癖，例如： make / make install无法“按预期”运行 它不能直接在Mac OS X上编译 发现了一些错误，例如 注意事项 我不是发行工程师，并且对所涉及的不同语言（C
svdlibc-blas:使用 BLAS 进行大规模 SVD 计算的改进 SVDLIBC
07-06
SVDLIBC-BLAS 这是 SVDLIBC 的 blas-vesion 最初来自 请修改Makefile的LIBS行以链接您偏好的特定 BLAS 实现，例如 OpenBLAS、ATLAS 或 MKL。 或者您可以通过以下方式更新默认的 BLAS 库 $ sudo update-alternatives --config libblas.so
SVD 与 LSI 教程（4）： LSI计算
云卷云舒
05-14 4640
/**********************作者信息****************/ Dr. E. Garcia Mi Islita.com Email | Last Update: 01/07/07 /**********************作者信息****************/
nlp--Latent Semantic Analysis(LSA/ LSI)算法简介
飘过的春风
01-12 1994
1. 传统向量空间模型的缺陷    向量空间模型是信息检索中最常用的检索方法，其检索过程是，将文档集D中的所有文档和查询都表示成以单词为特征的向量，特征值为每个单词的TF-IDF值，然后使用向量空间模型(亦即计算查询q的向量和每个文档di的向量之间的相似度)来衡量文档和查询之间的相似度，从而得到和给定查询最相关的文档。   向量空间模型简单的基于单词的出现与否以及TF-IDF等信息来进行检索，但是...
奇异值分解SVD应用——LSI
热门推荐
Rachel Zhang的专栏
10-31 5万+
潜在语义索引（Latent Semantic Indexing）是一个严重依赖于SVD的算法，本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。————————————在自然语言处理中，最常见的两类的分类问题分别是，将文本按主题归类（比如将所有介绍亚运会的新闻归到体育类）和将词汇表中的字词按意思归类（比如将各种体育运动的名称个归成一类）。这两种分类问题都可用通过矩阵运算来圆满地
SVD 与 LSI教程（5）：LSI关键字研究与协同理论
云卷云舒
05-14 2850
/**********************作者信息****************/ Dr. E. Garcia Mi Islita.com Email | Last Update: 01/07/07 /**********************作者信息****************/ Introduction In Part 1 and 2 of th
PCA算法
qhu1600417010的博客
04-01 1287
Rayleigh商可以用来估计矩阵的特征值，并在特征值问题的研究中具有重要的应用。主要用于数据的降维，通过降维可以用较为简单的特征来代替原来的特征，在分类任务中可以使用PCA算法进行特征降维，然后减小计算量；Σ 是一个m×n的对角矩阵，对角线上的元素称为奇异值（Singular Value），按照大小排列。非对角线元素均为零。综上所述，奇异值的大小反映了数据在不同方向上的变化程度和重要性，对于理解数据的结构、进行数据降维和特征选择具有重要的意义。，它的特征值是实数，且对应于不同特征值的特征向量是正交的。
SVD分解——>潜在语义分析LSA(I)——>概率性潜在语义分析PLSA(I)
十三
01-06 3619
SVD分解 正交矩阵：若一个方阵其行与列皆为正交的单位向量，则该矩阵为正交矩阵，且该矩阵的转置和其逆相等。两个向量正交的意思是两个向量的内积为 0。 正定矩阵：如果对于所有的非零实系数向量 zzz，都有zTAz>0z^TAz>0zTAz>0，则称矩阵AAA是正定的。正定矩阵的行列式必然大于 0，所有特征值也必然 > 0。相对应的，半正
SVD与 LSI教程之三： 计算矩阵的全部奇异值
08-20 1134
A Tutorial for computing the full SVD of a matrix the easy way. A handy shortcut for computing "left" eigenvectors is described. Dr. E. G
中文自动文摘新方法：潜在语义索引与句子聚类结合
作者提出了一个创新的方法，该方法结合了潜在语义索引（Latent Semantic Indexing, LSI）和句子聚类技术来提升中文自动文摘的质量。 潜在语义索引是一种文本分析技术，用于捕捉文本中单词之间的隐含语义关系。在...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值