隐性语义索引(LSI)

最新推荐文章于 2021-02-18 15:45:18 发布
最新推荐文章于 2021-02-18 15:45:18 发布
阅读量2.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/40818333
本文介绍了潜在语义索引（LSI）的概念，它通过SVD分解解决向量空间模型中的一词多义和一义多词问题。LSI将词项和文档映射到低维潜在语义空间，提高了信息检索的精度。尽管LSI存在计算成本高和无法处理否定及布尔查询的缺点，但在适当降低维度时，仍能有效提升检索效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.Introduction

在向量模型中，将查询和文档均表示成同一空间下的向量，可以使用余弦相似度进行评分计算。但是，向量空间表示方法没有能力处理自然语言理解中的两个经典问题：一词多义（polysemy）和一义多词（synonymy）。使用LSI可以利用词项的共现情况，将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度。

2.SVD分解

了解本专栏 订阅专栏 解锁全文
隐性语义索引 LSI
Vulpes corsac
10-29 1690
隐性语义索引(Latent Semantic Indexing,以下简称LSI )，有的文章也叫Latent Semantic Analysis（LSA ）。其实是一个东西，后面我们统称LSI ，它是一种简单实用的主题模型。它是一种利用奇异值分解(SVD )方法获得在文本中术语和概念之间关系的索引和获取方法。该方法的主要依据是在相同文章中的词语一般有类似的含义,可以从一篇文章中提...
隐性语义索引LSI
云南省高校数据化运营管理工程研究中心的博客
09-27 3742
Latent Semantic Idexing，译为隐性语义索引，也可译为潜在语义索引，简称LSILSI；有的文章也叫Latent Semantic Analysis，译为隐性语义分析，也可译为潜在语义分析，简称LSALSA）。两者是一个东西，后面我们统称LSILSI。隐性语义索引，是在信息检索领域提出来的一个概念，是近年来逐渐兴起的不同于关键词检索的搜索引擎解决方案，其通过海量文献找出词汇之间
隐性语义索引(LSI)学习笔记
pi9nc的专栏
06-28 3999
隐性语义索引(LSI)学习笔记 Posted on 星期三, 十月 26th, 2011 at 下午 10:20 1.Introduction 在向量模型中，将查询和文档均表示成同一空间下的向量，可以使用余弦相似度进行评分计算。但是，向量空间表示方法没有能力处理自然语言理解中的两个经典问题：一词多义（polysemy）和一义多词（synonymy）。使用LSI可以利用词项的共现情
文本主题模型之潜在语义索引(LSI)
weixin_34067980的博客
05-04 975
　　　　在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 文本主题模型的问题特点 　　　　在数据分析中，我们经常会进行非监督学习的聚类算法，它可以对我们的特征数据进行非监督的聚类。而主题模型也是非监督的算法，目的是得到文本按照主题的概率分布。从这个方面来说，主题模型和普通的...
LSI (Latent Semantic Indexing)隐语义索引简介
影の聚宝盆
07-10 2706
<br />隐性语义索引<br /><br />                   .Walt.<br /><br />1. 引言<br />        <br /><br />自然语言文本中的词汇(术语)具有一词多义(polysemy)和一义多词(synonymy)的特点. <br />由于一词多义, 基于精确匹配的检索算法会报告许多用户不要的东西; 由于一义多词, <br />基于精确匹配的检索算法又会遗漏许多用户想要的东西.<br /><br />下面是一个例子:<br /><br />设Doc
隐性语义索引（LSI）原理与实现
guoziqing506的博客
07-11 6473
隐性语义索引(Latent Semantic Idexing, LSI)，也叫Latent Semantic Analysis(LSA)，是信息检索领域一类非常重要的技术思想。它通过对词项-文档矩阵的奇异值分解，在理论上成功地解决了潜在语义（或者叫隐性语义）的检索问题。本文将介绍关于LSI的原理和实现方法。 隐含语义问题 基于关键词的文档检索是IR中最简单，也是最普遍的技术手段。一般来说，...
机器学习实战之SVD
小猪真的真的真的要减肥了
04-20 3070
1. 奇异值分解 SVD(singular value decomposition) 1.1 SVD评价    优点: 简化数据, 去除噪声和冗余信息, 提高算法的结果    缺点: 数据的转换可能难以理解 1.2 SVD应用 (1) 隐性语义索引(latent semantic indexing, LSI)/隐性语义分析(latent semantic analysis, LSA)
文本分类技术：从LSI到LDA
- **隐性语义索引（Latent Semantic Indexing, LSI）**：通过奇异值分解（Singular Value Decomposition, SVD）对文本矩阵进行降维，以捕捉词汇之间的潜在语义关系。SVD将矩阵A分解为U、Σ和V的乘积，其中Σ是对角...
隐性语义索引
jiejnan的专栏
02-19 1705
<br />发信人: walt@ncicbbs (瓦尔特), 信区: chinese 标 题: ◎ 隐性语义索引 发信站: 国家智能机中心曙光站 (Thu Apr 11 12:02:51 1996) 转信站: ncicbbs 隐性语义索引 .Walt. 1. 引言 自然语言文本中的词汇(术语)具有一词多义(polysemy)和一义多词(synonymy)的特点. 由于一词多义, 基于
隐含语义索引（Latent Semantic Indexing ）
aaron的专栏
11-07 2699
向量空间模型（Vector Space Model） 将文本看作是一个向量，向量中的每一维都代表某单词是否出现在文本中，使用向量空间模型的pca算法时并不做规约化，因为文本里的每一条不一定有同等的作用。向量空间中紧挨着的文本，我们认为他们讨论的是同一类的问题： 其中有三个基础的性质： 1.      d1挨着d2，那么d2挨着d1 2.      d1挨着d2，d2挨着d3，那么d
《数学之美》拾遗——潜在语义索引(LSI)
热门推荐
null的专栏
06-09 1万+
一、潜在语义索引的提出
LSI隐性语义索引/LSA 隐性语义分析
qq_19080333的博客
09-17 424
在LSI中，一个矩阵是由文档和词语组成的。当我们在该矩阵上应用SVD时，就会构建出多个奇异值。这些奇异值代表了文档中的概念或主题，这一特点可以用于更高效的文档搜索。在词语拼写错误时，只基于词语存在与否的简单搜索方法会遇到问题。简单搜索的另一个问题是同义词的使用。这就是说，当我们查找一个词时，其同义词所在的文档可能并不会匹配上。如果我们从上千篇相似的文档中抽取出概念，那么同义词就会映射为同一概念。 ...
隐含语义索引——快速教程(Latent Semantic Indexing(LSI)---A Fast Track Turorial)
kavin_star的博客
02-18 517
摘要： 这个快速教程提供了为查询和文档打分与使用SVD（奇异值分解）和term count model来对结果排名的说明。这个教程可以用作一个SVD的快速引用。LSI教程系列在下面的网址下描述：http://www.miislita.com/information-retrieval-tutorial/svd-lsi-tutorial-1-understanding.html 关键字： latent semantic indexing, LSI, singular v...
隐含语义索引lsi
rosenor1的博客
08-16 1477
潜在语义索引(LSI)，又称为潜在语义分析(LSA)，是在信息检索领域提出来的一个概念。主要是在解决两类问题，一类是一词多义，如“bank”一词，可以指银行，也可以指河岸；另一类是一义多词，即同义词问题，如“car”和“automobile”具有相同的含义，如果在检索的过程中，在计算这两类问题的相似性时，依靠余弦相似性的方法将不能很好的处理这样的问题。所以提出了潜在语义索引的方法，利用SVD降维的
隐性语义检索（LSI）和搜索引擎优化 【转www.chinageren.com 】
pennyliang的专栏
09-19 3174
最近，当人们用“paypal ”在Google中进行搜索，排名第一位的却不再是国际知名网络支付公司Paypal的官方网站Paypal.com了。这一现象显然反映了Google正在加大对那些采用了“异常”的回向链接文字（锚文字）的惩罚力度。虽然作为典型例子的Paypal在Google中出现的排名问题已经得到了纠正，但仍有成千上万名不见经传的小网站们正遭受着同样的困扰：那就是即使用公司名称在Googl
潜在语义索引(LSI)
m0_44993395的博客
09-12 1403
前言   在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 潜在语义索引(LSI)   潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic Analysis(LSA)。其实是一个东西，后面我们统称LSI，它是一种简单实用的主题模型。LSI是基于奇异值分解(SVD)的方法来得到文本的主题的。   这里我们简要回顾下S
LSI理解
莫一丞元
09-11 2081
文章介绍流程：基本思想、结构图、例子讲解、优缺点、算法流程、具体分解矩阵含义分析。 基本思想 LSA(Latent Semantic Analysis，潜在语义分析)和LSI(Latent Semantic Index, 潜在语义索引)是1988年，美国贝尔通讯实验室的S.T.Dumais等人为解决传统向量空间模型对文本的语义信息利用能力匮乏而提出。 原理：LSA潜在语义分析的目的，就是要找出词(terms)在文档和查询中真正的含义，也就是潜在语义，从而解决上节所描述的问题。具体说来就是对一个大型的文档集合
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值