隐性语义索引(LSI)

最新推荐文章于 2021-02-18 15:45:18 发布
最新推荐文章于 2021-02-18 15:45:18 发布
阅读量2.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/40818333
本文介绍了潜在语义索引（LSI）的概念，它通过SVD分解解决向量空间模型中的一词多义和一义多词问题。LSI将词项和文档映射到低维潜在语义空间，提高了信息检索的精度。尽管LSI存在计算成本高和无法处理否定及布尔查询的缺点，但在适当降低维度时，仍能有效提升检索效果。

1.Introduction

在向量模型中，将查询和文档均表示成同一空间下的向量，可以使用余弦相似度进行评分计算。但是，向量空间表示方法没有能力处理自然语言理解中的两个经典问题：一词多义（polysemy）和一义多词（synonymy）。使用LSI可以利用词项的共现情况，将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度。

2.SVD分解

了解本专栏 订阅专栏 解锁全文
隐性语义索引 LSI
Vulpes corsac
10-29 1735
隐性语义索引(Latent Semantic Indexing,以下简称LSI )，有的文章也叫Latent Semantic Analysis（LSA ）。其实是一个东西，后面我们统称LSI ，它是一种简单实用的主题模型。它是一种利用奇异值分解(SVD )方法获得在文本中术语和概念之间关系的索引和获取方法。该方法的主要依据是在相同文章中的词语一般有类似的含义,可以从一篇文章中提...
机器学习之LSI：文本主题模型之潜在语义分析（LSI）
qq_40216188的博客
06-04 4750
机器学习之LSI：文本主题模型之潜在语义分析（LSI）一、潜在语义分析（LSI）概述二、LSI简单示例概述三、LSI主题模型总结四、代码实现 一、潜在语义分析（LSI）概述 潜在语义索引(Latent Semantic Indexing，以下简称LSI)，也可以称为Latent Semantic Analysis（LSA）。LSI是一种简单实用的主题模型。LSI是基于奇异值分解（SVD）的方法得到本文的主题。 SVD分解：对于一个矩阵Am∗nA_{m*n}Am∗n​，可以分解为三个矩阵： Am∗n
隐性语义索引(LSI)学习笔记
pi9nc的专栏
06-28 4023
隐性语义索引(LSI)学习笔记 Posted on 星期三, 十月 26th, 2011 at 下午 10:20 1.Introduction 在向量模型中，将查询和文档均表示成同一空间下的向量，可以使用余弦相似度进行评分计算。但是，向量空间表示方法没有能力处理自然语言理解中的两个经典问题：一词多义（polysemy）和一义多词（synonymy）。使用LSI可以利用词项的共现情
文本主题模型之潜在语义索引(LSI)
weixin_34067980的博客
05-04 1001
　　　　在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 文本主题模型的问题特点 　　　　在数据分析中，我们经常会进行非监督学习的聚类算法，它可以对我们的特征数据进行非监督的聚类。而主题模型也是非监督的算法，目的是得到文本按照主题的概率分布。从这个方面来说，主题模型和普通的...
LSI (Latent Semantic Indexing)隐语义索引简介
影の聚宝盆
07-10 2790
<br />隐性语义索引<br /><br />                   .Walt.<br /><br />1. 引言<br />        <br /><br />自然语言文本中的词汇(术语)具有一词多义(polysemy)和一义多词(synonymy)的特点. <br />由于一词多义, 基于精确匹配的检索算法会报告许多用户不要的东西; 由于一义多词, <br />基于精确匹配的检索算法又会遗漏许多用户想要的东西.<br /><br />下面是一个例子:<br /><br />设Doc
隐性语义索引LSI
云南省高校数据化运营管理工程研究中心的博客
09-27 3810
Latent Semantic Idexing，译为隐性语义索引，也可译为潜在语义索引，简称LSILSI；有的文章也叫Latent Semantic Analysis，译为隐性语义分析，也可译为潜在语义分析，简称LSALSA）。两者是一个东西，后面我们统称LSILSI。隐性语义索引，是在信息检索领域提出来的一个概念，是近年来逐渐兴起的不同于关键词检索的搜索引擎解决方案，其通过海量文献找出词汇之间
机器学习实战之SVD
小猪真的真的真的要减肥了
04-20 3163
1. 奇异值分解 SVD(singular value decomposition) 1.1 SVD评价    优点: 简化数据, 去除噪声和冗余信息, 提高算法的结果    缺点: 数据的转换可能难以理解 1.2 SVD应用 (1) 隐性语义索引(latent semantic indexing, LSI)/隐性语义分析(latent semantic analysis, LSA)
文本分类技术：从LSI到LDA
- **隐性语义索引（Latent Semantic Indexing, LSI）**：通过奇异值分解（Singular Value Decomposition, SVD）对文本矩阵进行降维，以捕捉词汇之间的潜在语义关系。SVD将矩阵A分解为U、Σ和V的乘积，其中Σ是对角...
隐性语义索引
nicole_001的专栏
03-23 527
http://blog.chinaunix.net/u/21752/showart_2112395.html
隐含语义索引（Latent Semantic Indexing ）
aaron的专栏
11-07 2752
向量空间模型（Vector Space Model） 将文本看作是一个向量，向量中的每一维都代表某单词是否出现在文本中，使用向量空间模型的pca算法时并不做规约化，因为文本里的每一条不一定有同等的作用。向量空间中紧挨着的文本，我们认为他们讨论的是同一类的问题： 其中有三个基础的性质： 1.      d1挨着d2，那么d2挨着d1 2.      d1挨着d2，d2挨着d3，那么d
《数学之美》拾遗——潜在语义索引(LSI)
null的专栏
06-09 1万+
一、潜在语义索引的提出
LSI隐性语义索引/LSA 隐性语义分析
qq_19080333的博客
09-17 443
在LSI中，一个矩阵是由文档和词语组成的。当我们在该矩阵上应用SVD时，就会构建出多个奇异值。这些奇异值代表了文档中的概念或主题，这一特点可以用于更高效的文档搜索。在词语拼写错误时，只基于词语存在与否的简单搜索方法会遇到问题。简单搜索的另一个问题是同义词的使用。这就是说，当我们查找一个词时，其同义词所在的文档可能并不会匹配上。如果我们从上千篇相似的文档中抽取出概念，那么同义词就会映射为同一概念。 ...
隐含语义索引——快速教程(Latent Semantic Indexing(LSI)---A Fast Track Turorial)
kavin_star的博客
02-18 560
摘要： 这个快速教程提供了为查询和文档打分与使用SVD（奇异值分解）和term count model来对结果排名的说明。这个教程可以用作一个SVD的快速引用。LSI教程系列在下面的网址下描述：http://www.miislita.com/information-retrieval-tutorial/svd-lsi-tutorial-1-understanding.html 关键字： latent semantic indexing, LSI, singular v...
隐含语义索引lsi
rosenor1的博客
08-16 1503
潜在语义索引(LSI)，又称为潜在语义分析(LSA)，是在信息检索领域提出来的一个概念。主要是在解决两类问题，一类是一词多义，如“bank”一词，可以指银行，也可以指河岸；另一类是一义多词，即同义词问题，如“car”和“automobile”具有相同的含义，如果在检索的过程中，在计算这两类问题的相似性时，依靠余弦相似性的方法将不能很好的处理这样的问题。所以提出了潜在语义索引的方法，利用SVD降维的
隐性语义检索（LSI）和搜索引擎优化 【转www.chinageren.com 】
pennyliang的专栏
09-19 3206
最近，当人们用“paypal ”在Google中进行搜索，排名第一位的却不再是国际知名网络支付公司Paypal的官方网站Paypal.com了。这一现象显然反映了Google正在加大对那些采用了“异常”的回向链接文字（锚文字）的惩罚力度。虽然作为典型例子的Paypal在Google中出现的排名问题已经得到了纠正，但仍有成千上万名不见经传的小网站们正遭受着同样的困扰：那就是即使用公司名称在Googl
潜在语义索引(LSI)
m0_44993395的博客
09-12 1474
前言   在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 潜在语义索引(LSI)   潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic Analysis(LSA)。其实是一个东西，后面我们统称LSI，它是一种简单实用的主题模型。LSI是基于奇异值分解(SVD)的方法来得到文本的主题的。   这里我们简要回顾下S
隐性语义索引（LSI）原理与实现
guoziqing506的博客
07-11 6604
隐性语义索引(Latent Semantic Idexing, LSI)，也叫Latent Semantic Analysis(LSA)，是信息检索领域一类非常重要的技术思想。它通过对词项-文档矩阵的奇异值分解，在理论上成功地解决了潜在语义（或者叫隐性语义）的检索问题。本文将介绍关于LSI的原理和实现方法。 隐含语义问题 基于关键词的文档检索是IR中最简单，也是最普遍的技术手段。一般来说，...
【译】潜在语义分析Latent Semantic Analysis (LSA)
热门推荐
卖小孩的咖啡
08-11 1万+
目录目录 概述 Tutorial LSA的工作原理 How Latent Semantic Analysis Works 实例A Small Example Part 1 - Creating the Count Matrix Python - Import Functions Python - Define Data Python - Define LSA Class Python - Parse
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值