信息检索——词项词典及倒排记录表

最新推荐文章于 2022-05-23 16:29:03 发布
最新推荐文章于 2022-05-23 16:29:03 发布
阅读量956 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 信息检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/notqq555/article/details/109534892
本文介绍了信息检索中词项词典和倒排记录表的概念及其处理方法，包括文档预处理、索引粒度的选择、跳表在倒排记录表合并中的应用，以及短语查询和位置信息索引的实现。重点讨论了跳表指针的设置策略和二元接续词对与位置信息索引的优缺点，提出混合索引作为优化方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

词项词典及倒排记录表

 

本章内容

收集词项词典的预处理

  1. 收集文档
  2. 词条化
  3. 应该把哪些词放入索引？

倒排记录表

  1. 快速处理：跳表
  2. 含位置信息的倒排记录表和短语查询

 

 

 

 

分析文档

  1. 需要处理每一个文档的格式及语言
  2. 格式：PDF/excel/word/HTML...
  3. 语言
  4. 字符集：utf-8/gbk/gb2312....

 

索引粒度

可取的做法是将每章或每段看成一个微型文档来建立索引，匹配单位的粒度越小，用户就越容易在文档中找到相关的段落。

  • 索引粒度太小，正确率高  召回率低
  • 索引粒度太大，召回率高  正确率低

 

 

 

词条与词项

词条：从原文 中切出来的，一模一样

词项：词条经过若干处理，再进行同义词归类后成为了词项

 

词条预处理

最低0.47元/天 解锁文章

200万优质内容无限畅学
词项词典及倒排记录表
zqq1216的专栏
03-16 2102
词项字典获取相关操作：文档单元选择、字符序列生成、词条化、去除停用词、词项归一化、词干还原和词形归并。 词项词典获取： 1. 文档单元选择：存在索引粒度的问题，这里存在一个正确率和召回率的权衡问题，如果索引粒度太小，那么由于词项散布在多个细粒度文档中，我们就很可能错过那些重要的段落，也就是说此时正确率高二召回率低；反之，如果索引粒度太大，我们就很可能找到很多不相关的匹配结果，及正确率低而召回率
信息检索——扩展词模型研究与应用论文
qq_45629857的博客
07-11 1146
信息检索——扩展词模型研究与应用 摘要：近年来，随着互联网数据规模的持续增长，信息检索技术得到广泛关注，并被应用于多种垂直领域检索场景。信息检索旨在根据用户查询，在大规模数据中查找与查询相关的文档或网页，并根据其相关程度给出相应的排序列表。而用户提交给搜索引擎的查询往往仅包含少量关键词，很难全面描述用户的信息需求，进而对查询意图的理解带来模糊性和不确定性，因此，如何准确有效地理解用户查询对于检索性能的提升至关重要，也是信息检索性能优化的核心方向之一。为精确地理解用户查询，提升检索性能。 关键词：信息检索 查
【信息检索导论】第二章 词项词典与倒排记录表
lwgkzl的博客
01-27 1673
总览 本章介绍的较为琐碎，因为书中提及了很多实际应用中的具体困难，而这些困难书中也并未提及解决方案，一般是凭经验去权衡。其内容主要还是围绕倒排表进行讲述的，讲述重点有两个。一是如何从文本中抽取词条，涉及到分词，以及词语的归一化问题（2.2）， 二是如何高效的进行检索，即倒排表如何快速合并，考虑连续的二元组该如何查询等（2.3, 2.4） 2.1 文档分析与编码转换 编码转换：主要介绍文档的解码问题，用UTF-8还是其他编码，以及不同平台间的文档的解码问题。 索引粒度（index granularity）：
信息检索之词项词典及倒排记录表
a123456ei的专栏
12-11 2033
1、主要内容     ①文档的基本组成单位及文档中确定这些单位所含字符序列的方法；     ②词条化（把原始的字符流分成一个个的词条）和语言学预处理（建立词条的等价类）；     ③跳表倒排记录表数据结构（支持快速查询）；     ④适合于短语查询和邻近查询的索引结构（在布尔操作的检索系统和web搜索系统中非常普遍）。 2、字符序列的生成：     ①、编码方式：Unicode
信息检索导论（第二章） 词项词典及倒排记录表
steppad
07-26 1163
文档字符生成过程中存在编码识别问题，一般通过启发式的机器学习手段来识别或者手工选择方式来解决； 文档的“单位”：文档单位即“索引粒度”的设定往往需要根据实际情况的需求设定，粒度过大或者过小都有弊端，粒度过小，词汇都被包含在篇幅很小的段落中，遗漏了其余相关的段落后导致正确率高召回率低，粒度过大，正确率低召回率高； 词条化：将给定的字符序列拆分成一系列的子序列的过程，其中的每个子序列称作词条；
第二章 词项词典及倒排记录表
ww188的专栏
04-21 479
2.1 文档分析及编码转换 2.1.1 字节序列生成 2.1.2 文档单位的选择 2.2 词项集合的确定 2.2.1 词条化 2.2.2 去除停用词 2.2.3 词项归一化 2.2.4 词干还原和词形归并 2.3 基于跳表的倒排记录表的快速合并算法 倒排记录表的合并o(m+n) ？可以否提高。 带跳表指针的倒排记录表？实现？  带跳表指针的倒排记录表。 2.
信息检索——索引压缩
notqq555的博客
11-07 1993
索引压缩 目录 索引压缩 为什么需要压缩？ 两种压缩方式： 信息检索中词项的统计特性 Heaps定律 Zipf定律 词典压缩 用定长数组来存储词典中的词项。 将词典看成单一字符串的压缩方法 按块存储 前端编码 倒排记录表的压缩 可变字节编码VB编码 gamma 编码 索引压缩：对词典和倒排记录表这两个数据结构进行压缩。 为什么需要压缩？ 使用更少的磁盘空间 节省资金 在内存中存放更多信息 提高速度 提高数据从磁盘传输到内存的速度 读取压缩数据|解压缩 ...
搜索引擎核心技术与算法-——-倒排索引初体验.pdf
最新发布
08-12
词典中存储着所有的词项，每个词项对应一个倒排记录表，记录表中存储着该词项出现的文档列表。 二、倒排索引的构建方法 构建倒排索引需要经过以下几个步骤： 1. 收集需要建立索引的文档。 2. 将每个文档转换成一...
信息检索——索引构建
notqq555的博客
11-07 1565
索引构建 本章内容： 硬件基础 语料库 大规模倒排索引构建 基于块的索引构建BSBI 内存式单遍扫描索引构建SPIMI 分布式索引MapReduce 动态索引 目录 索引构建 硬件基础 语料库 大规模倒排索引构建 基于块的排序索引BSBI 内存式单遍扫描索引SPIMI 分布式索引MapReduce 动态索引 索引构建：建立倒排索引的过程index construction 索引器：构建...
信息检索导论学习笔记（二） 词项词典和倒排记录表
fover717的专栏
09-12 1083
信息检索导论学习笔记（二） 词项词典和倒排记录表 文档的分析和编码的转换 1.生成字符序列 2.文档单位的选择 词项集合的选择 （1）词条化 词条化处理往往与语言本省有关，不同语言下的词条化并不相同。 （2）去除停用词 （3）归并处理 （4）词干还原（stemming）和词形归并（lemmatization） 基于跳表的倒排记录表快速归并算法（skip list） 在更号
倒排记录表-信息检索导论
10-08
王斌老师讲课课件，仅供个人保存，请勿下载。。。。。。。。
信息检索_基于跳表指针的倒排记录表合并算法
12-21
小程序描述：输入两个倒排记录表，求两个倒排记录表的交集 跳表指针合并算法伪代码如下所示：                                                         功能描述： ①运行程序，看到提示“请输入词项word1：”，输入某个倒排记录表的词项。 ②运行程序，看到提示“请输入word1的倒排记录表(输入-1，停止输入倒排记录表):”时，输入①步骤词项的倒排记录表，当输入-1时停止输入此倒排记录表。 ③运行程序，看到提示“请输入词项word2：”，输入某个倒排记录表的词项。 ④运行程序，看到提示“请输入word2的倒排记录表(输入-1，停止输入倒排记录
实验1-1倒排记录表的合并算法实现
04-20
信息检索，倒排记录表的合并算法实现，用户通过提示输入两个倒排记录表，系统自动实现倒排记录表的合并，并将合并结果输出。
2词项词典及倒排记录表
qq_45783383的博客
11-18 559
提示： 词项词典及倒排记录表 文章目录词项词典及倒排记录表相关概念 词项词典及倒排记录表 相关概念
现代信息检索3---词汇表和倒排记录表
u010384318的专栏
10-10 2437
第二节里我们了解了倒排索引的基本知识，包括构建、合并、查询等。课件里有个关于google中是否使用布尔模型？这个问题我们还是看下图吧： 让我感觉简单的布尔模型还是有用武之地的。下面是新的知识，对于我这个自学的人来说还是有点难，只能按照我自己的理解去说了。如果有误，欢迎指正。 你一定还记得这个图吧！当时只是一笔带过，现在应该去思考为什么会是这样的。先说下步骤吧： 我们构建索引的输入一般
倒排记录表算法实现（python）
dongjiashuo的博客
04-10 3731
在信息检索导论课程中，涉及到了倒排记录表合并算法的实现，因此在这简单分享一下我的实现的算法。 （1）两个倒排记录表的合并算法 伪代码如下： 算法实现： '''程序说明： 求两个倒排记录表的交...
倒排表讲解
艰难困苦，玉汝于成。
12-02 4326
目录前言一、倒排表总结 前言 倒排表可以用来做过滤的相关操作。 一、倒排表 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 总结 提示：
信息检索——倒排记录表的合并操作
clown0004的博客
05-23 1090
信息检索——倒排记录表的合并操作
【信息检索】词典、倒排记录表和容错式检索
Alex_SCY的博客
04-13 1646
博客地址：https://www.codingshen.com/archives/%E4%BF%A1%E6%81%AF%E6%A3%80%E7%B4%A2%E8%AF%8D%E5%85%B8%E5%80%92%E6%8E%92%E8%AE%B0%E5%BD%95%E8%A1%A8%E5%92%8C%E5%AE%B9%E9%94%99%E5%BC%8F%E6%A3%80%E7%B4%A2 (1). 考虑利用如下带有跳表指针的倒排记录表 和两个中间结果表（如下所示，不存在跳表指针）分别进行合并操作。 3 5
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NoTqqa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值