布尔检索和向量空间模型——nlp基础学习笔记

最新推荐文章于 2025-08-04 21:37:40 发布
最新推荐文章于 2025-08-04 21:37:40 发布
阅读量2.5k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： nlp 文章标签： nlp 信息检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_35227692/article/details/74578959
本文介绍了布尔检索的基本原理，通过倒排索引实现高效的查询。然而，布尔检索存在局限，无法提供最佳匹配。于是转向向量空间模型，利用词频TF-IDF计算文章间相似度，通过余弦相似度确定搜索结果的相关性。

首先说布尔检索，顾名思义 用0，1 代表真假值来进行检索。

比如两句话    我爱吃鸭，  他爱吃鸡

可以构造出一个二维矩阵：

横坐标是每一句话包含的信息，纵坐标是所有文字


    句子1  句子2 句子n。。。。
你 0 0 。。
我 1 0 。。
他 0 1 。。
吃 1
最低0.47元/天 解锁文章

200万优质内容无限畅学
复试准备 | 情报学基础教程简要笔记
是希望的博客
05-08 4131
《情报学基础教程》一书的简要笔记，仅供参考
向量数据库Milvus快速入门——AIDOCZH.COM上线Milvus中文文档
数智笔记
06-17 3164
本页面旨在通过回答几个问题来为您提供Milvus的概述。阅读本页面后，您将了解Milvus是什么，它是如何工作的，以及关键概念、为什么使用Milvus、支持的索引和度量、示例应用程序、架构和相关工具。Milvus是在2019年创建的，其唯一目标是存储、索引和管理由深度神经网络和其他机器学习（ML）模型生成的大规模嵌入向量。作为一个专门设计用于处理输入向量查询的数据库，它能够在万亿级别上对向量进行索引。与现有的主要处理遵循预定义模式的结构化数据的关系型数据库不同，Milvus是从底层开始设计的，用于处理从。
VSM信息检索模型（向量空间模型）
06-10
向量空间模型（VSM）的JAVA实现，从文档表示到相似度计算，使用两种相似度计算方式：cos和tf-idf算法
经典检索模型——向量空间模型（VSM）的简单理解
华工Web练习生
03-04 5581
笔者在课后作业中遇到了向量空间模型的概念题，对课堂重温后有了一些简单的理解，在此分享。 向量空间模型（VSM） 向量空间模型（Vector Space Model，VSM），是基于代数的一种常用模型。向量空间模型试图克服布尔模型的缺陷，它采用非布尔向量来表示文档和查询，采用非二值实数表示相似度，这样输出结果就可以按照文档和查询的相似程度来进行排序了，客观上实现了部分匹配。 采用向量空间模型最明显的...
向量空间模型
最新发布
2401_88885149的博客
08-04 824
向量空间模型
向量空间模型 信息检索作业
03-17
向量空间模型的构建 C++实现 VS2013上做的，绝对的好用
【NLP】 向量空间模型
weixin_30263073的博客
12-14 143
向量空间模型是一种比较广泛是一种用向量来表示文本的代数模型。 在向量空间模型中，文档被表示成一个权值向量，其中的每一个权值都通过词频率表（TF），或者词逆向文档频率表（TF-IDF），或者他们的变异版本计算得到的。 词频率表（Term Frequency（TF）Scheme）：在这种方式中，文档di中token ti的权值就是在dj中ti出现的次数，被定义为fij，在此基础上还可以进行标准化。...
自然语言处理(NLP)-1.3 向量空间模型(Vector Space Models)
Ogmx的博客
03-21 2958
1.向量空间模型(Vector Space Models) 1.1 基本概念 定义：向量空间模型将单词或文本用向量表示，通过上下文来获取其语义信息 功能：识别两文本/两类文档间的相似度和独立性 例： 单词基本相同的两句话可能有不同含义；而单词完全不同的两句话可能有相同含义 1.2 应用 信息提取 机器翻译 聊天机器人 2.构建向量空间 2.1 单词统计(Wor...
python自然语言处理实战学习——1
weixin_46853773的博客
04-01 1098
python自然语言处理实战学习笔记1 自信人生两百年，会当击水三千里。 第一章 NLP基础 1、NLP的概念 NLP（natural language processing，自然语言处理）是计算机科学领域以及人工智能领域的一个重要的研究方向，它研究用计算机来处理、理解以及运用人类语言，达到人与计算机之间进行有效通讯。 音系学：指代语言中发音的系统化组织 词态学：研究单词构成以及互相之间的关系 句法学：给定文本的哪部分是语法正确的 语义学：给定文本的含义是什么 语用学：文本的目的是什么 2、NLP
ElasticSearch学习总结（一）：信息检索基础理论
不积跬步，无以至千里；不积小流，无以成江海！
02-28 4240
本系列文章为Elasticsearch 的学习笔记，主要是为了便于日后对于相关知识点的回顾，在内容的范围以及正确性上可能存在一定出入。另外由于Elasticsearch的发展速度很快，很多特性会随着版本的演变而发生变化，具体的特性说明，如有疑问请参考对应版本的官方文档。本系列博客主要基于5.2版本 作为本系列博客的开篇，先对信息检索的相关基础知识做个简单的总结 1.基本定义 信息检索的定...
向量空间模型 - 维基百科，自由的百科全书
09-23 516
向量空间模型 - 维基百科，自由的百科全书 向量空间模型 - 维基百科，自由的百科全书向量空间模型 维基百科，自由的百科全书 跳转到： 导航, 搜索 向量空间模型 (或者 词组向量模型) 作为向量的标识符（比如索引），是一个用来表示文本文件的代数模型。它应用于信...
irproject1:一个使用倒排索引和向量空间模型的简单信息检索项目
06-12
项目1 一个使用倒排索引和向量空间模型的简单信息检索项目。 1）源代码只是一个python文件ir.py。 2）代码是用Python 2.7编写的。 3）代码中的query_file和base_dir变量要分别设置为query文件和blogs目录。 4)查询文件格式为：企鹅851 March每行一个查询，不带引号。 5）每个实现的IR模型都有一个后缀（名称）。 TFIDF：'stem' LogtfIDF：'stem-logtf' TFIDF-Positional：'stem-positional' BM25：'stem-bm25' 语言模型：'stem-lm' 拉普拉斯平滑语言模型：'stem-lmls' 为了对两个模型的两个分数进行线性求和，可以将 main(methods) 中的方法设置为我们打算在最终结果中使用的后缀列表。 例如 main(methods=['stem'
搜索引擎：向量空间模型
m0_72410588的博客
05-08 506
向量空间模型是信息检索领域中常用的一种检索模型。它将文本表示成向量形式，通过计算文本之间的相似度来实现文本的快速检索。了解向量空间模型的原理和应用对于信息检索领域的从业人员具有重要意义。
向量检索模型落地：瓶颈及解法！
Kaiyuan_sjtu的博客
02-11 1114
作者|Maple小七整理|NewBeeNLP稠密向量检索巨大的内存占用一直是限制其落地的一大瓶颈。实际上，DPR生成的768维稠密向量存在大量冗余信息，我们可以通过某种压缩方法以...
信息检索——向量空间模型（Vector Space Model）
分布式/云计算实践
03-25 4490
TF： tf 即 term frequency, 表示一个 term t 出现在 document d 中的次数，这是文档中一个很重要的概念。出现次数更多意味着重要程度越高，但是需要注意的是，相关度的提高并不是和次数的提高成同比的。因此通常tf需要做如下的处理 w1= log10(tf+1) 这样做就是要弱化次数对于相关度的影响 DF/IDF: df 即 do
现代信息检索 -- 空间向量模型
aiyingshu7825的博客
10-18 831
王老师的现代信息索引讲的很精彩，但是三节联排的课程总让我的注意力没办法太集中。在这里记录一下知识，也但是回顾了。 支持布尔查询的索引办法，在给定一个查询的情况下，可能匹配到的结果非常的多，那么对匹配结果（文档）进行评分或者相关权重分析，就显得尤为重要。 一、 参数化索引和域索引 　　 　　通常的文档都有额外的结构（title，author，content，etc.) ，这些也称为...
极简代码（六）—— 返回 0/1 构成的布尔向量
11-11 1889
使用逻辑判断式进行赋值，几乎所有的编程语言都支持，逻辑判断返回的 True/False，其实对应着 1/0，以 matlab 获取一个单位样本序列为例：function [x, n] = impseq(n0, n1, n2) n = n1:n2; x = [n == n0]; % 当然也可以稍微啰嗦的一种写法，x = [(n-n0) == 0];
IR：检索模型
Puzzle的博客
09-03 1715
# 信息检索模型 信息检索的主题之一是定义一个无须工程师提炼规则的模型。这样的检索模型（retrieval model）应该尽可能准确地捕获相关性的概念。给定一组搜索结果，检索模型将对它们进行排序：结果越相关，分数越高。 # TF-IDF 一种度量文档相对于查询的重要性的常见方法，是利用基于查询和文档中的词项计算出的统计数据。这种检索模型称为信息检索的统计模型（statistical models for information retrieval） # 示例 ...
网络信息检索（一）检索模型：布尔，向量，概率检索
csyifanZhang的博客
03-04 8921
一、基本概念 1．为什么要建模？ 模型是一个过程或者对象的抽象，用于研究属性、得出结论、做出预测。结论的质量依赖于模型表示现实的相近程度 结论的质量依赖于模型表示现实的相近程度，如机器人 2．什么是检索模型 IR的核心问题：预测哪些文档是相关的，哪些文档是不相关的。主要工作在于排序这个核心的问题，如何计算这个排序从而处理文档的相关性。 检索模型描述了如下这些细节 文档表示（ Docume...
香草搜索引擎：布尔检索与向量空间模型解析
资源摘要信息:"该资源是一个名为‘香草SE8’的搜索引擎项目，它采用了两种信息检索模型：布尔检索模型和向量空间模型。该搜索引擎最初是针对Reuters-21578语料库设计和实现的，但其设计具有良好的扩展性，可以适配至...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值