Elasticsearch倒排索引结构

深入理解倒排索引(Inverted Index):搜索引擎的核心数据结构 倒排索引是搜索引擎的核心数据结构,通过将"文档→单词"的正向关系转为"单词→文档"的倒排映射,大幅提升查询效率。它由词典(快速定位单词)和倒排列表(包含文档ID、词频、位置等信息)组成,支持复杂查询和相关性排序。相比正向索引,倒排索引以空间换时间,将搜索复杂度从O(N)降至O(1),但构建和更新成本较高。实际应用中采用压缩、跳表、FST等优化技术。这种结构特别适合读多写少的搜索场景,是现代搜索引擎快速响应的关键所在。 阅读详情

一切设计都是为了提高搜索的性能

倒排索引(Inverted Index)也叫反向索引,有反向索引必有正向索引。通俗地来讲,正向索引是通过key找value,反向索引则是通过value找key。

先来回忆一下我们是怎么插入一条索引记录的:

如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java高级交流:854630135,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。


 
curl -X PUT "localhost:9200/user/_doc/1" -H 'Content-Type: application/json' -d' { "name" : "Jack", "gender" : 1, "age" : 20 } ' 

其实就是直接PUT一个JSON的对象,这个对象有多个字段,在插入这些数据到索引的同时,Elasticsearch还为这些字段建立索引——倒排索引,因为Elasticsearch最核心功能是搜索。

那么,倒排索引是个什么样子呢?

 

首先,来搞清楚几个概念,为此,举个例子:

假设有个user索引,它有四个字段:分别是name,gender,age,address。画出来的话,大概是下面这个样子,跟关系型数据库一样

 

Term(单词):一段文本经过分析器分析以后就会输出一串单词,这一个一个的就叫做Term(直译为:单词)

Term Dictionary(单词字典):顾名思义,它里面维护的是Term,可以理解为Term的集合

Term Index(单词索引):为了更快的找到某个单词,我们为单词建立索引

Posting List(倒排列表):倒排列表记录了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息,每条记录称为一个倒排项(Posting)。根据倒排列表,即可获知哪些文档包含某个单词。(PS:实际的倒排列表中并不只是存了文档ID这么简单,还有一些其它的信息,比如:词频(Term出现的次数)、偏移量(offset)等,可以想象成是Python中的元组,或者Java中的对象)

(PS:如果类比现代汉语词典的话,那么Term就相当于词语,Term Dictionary相当于汉语词典本身,Term Index相当于词典的目录索引)

我们知道,每个文档都有一个ID,如果插入的时候没有指定的话,Elasticsearch会自动生成一个,因此ID字段就不多说了

上面的例子,Elasticsearch建立的索引大致如下:

name字段:

 

age字段:

 

gender字段:

 

address字段:

 

如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java高级交流:854630135,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。

Elasticsearch分别为每个字段都建立了一个倒排索引。比如,在上面“张三”、“北京市”、22 这些都是Term,而[1,3]就是Posting List。Posting list就是一个数组,存储了所有符合某个Term的文档ID。

只要知道文档ID,就能快速找到文档。可是,要怎样通过我们给定的关键词快速找到这个Term呢?

当然是建索引了,为Terms建立索引,最好的就是B-Tree索引(PS:MySQL就是B树索引最好的例子)。

首先,让我们来回忆一下MyISAM存储引擎中的索引是什么样的:

 

 

我们查找Term的过程跟在MyISAM中记录ID的过程大致是一样的

MyISAM中,索引和数据是分开,通过索引可以找到记录的地址,进而可以找到这条记录

在倒排索引中,通过Term索引可以找到Term在Term Dictionary中的位置,进而找到Posting List,有了倒排列表就可以根据ID找到文档了

(PS:可以这样理解,类比MyISAM的话,Term Index相当于索引文件,Term Dictionary相当于数据文件)

(PS:其实,前面我们分了三步,我们可以把Term Index和Term Dictionary看成一步,就是找Term。因此,可以这样理解倒排索引:通过单词找到对应的倒排列表,根据倒排列表中的倒排项进而可以找到文档记录)

为了更进一步理解,下面从网上摘了两张图来具现化这一过程:

 

 

如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java高级交流:854630135,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。

XGBoost实战:从原理到调参,手把手教你提升模型性能(附Python代码) 本文深入解析XGBoost核心原理,并提供一套从数据准备、系统性调参到生产部署的完整实战指南。通过剖析目标函数、正则化项与分裂算法,帮助读者理解参数背后的数学逻辑,并利用交叉验证、早停法及自动化工具(如Optuna)高效提升模型性能。文中附有详尽的Python代码示例,涵盖类别特征处理、缺失值应对、不平衡数据调整及模型可视化等高级技巧。 阅读详情

相关推荐

分析国外几款主流蜜罐产品看欺骗诱捕技术的应用脉络

网络安全的本质是攻防对抗,更本质的其实是人与人心智与技术的全面较量。 欺骗诱捕技术作为攻防对抗技术中比较特殊的技术,能够使防守方更多掌握对抗中的主动权,诱导攻击,迫使攻击者耗费精力的同时,留下丰富的攻击信息。究其本质,欺骗诱捕技术更深层次考验的不止是技术的能力,还有对于攻击者作为人的理解。 国外主流蜜罐产品分析 根据MarketsandMarkets《欺骗技术市场规模、份额和2021年全球市场预测》中提到的欺骗诱捕技术全球主要供应商及产品,我们分析了几款国外主流的蜜罐产品,希望更清晰看到欺骗诱捕技术应

cdyunaq的博客 1311

常规操作elasticSearch分词和ik安装分词器以及配置

常规操作elasticSearch分词和安装分词器 分词: POST _analyze { "analyzer": "standard", "text": "Today is what sunny." } { "tokens" : [ { "token" : "today", "start_offset" : 0, "end_offset" : 5, "type" : "<ALPHANUM>", "positio

Phor的博客 1156

C++利用spdlog生成日志

C++利用spdlog生成日志下载编译spdlog配置并使用 环境:Win10-x64+VS2015 spdlog是一个快速的C++日志库,能够兼容C++11,具备快速、无需依赖第三方库、支持多线程、多平台的优良特性! 下载编译spdlog 1.第一步,下载spdlog 下载spdlog,下载地址:https://github.com/gabime/spdlog#header-only-version,从Github上下载zip压缩包。下载完成后会获取一个名为spdlog-1.x.zip的压缩包 2.第二步

weixin_42975610的博客 3223

【ElasticSearch】ElasticSearch的倒排索引

ElasticSearch是一个基于Apache Lucene构建的开源搜索引擎,它提供了强大的全文搜索和分析功能。它不仅可以快速搜索和检索大量的结构化和非结构化数据,还具备水平扩展和高可用性的特性。

技术随笔 5167

WS2812B非标准通信协议:手把手实现精准时序控制

详解WS2812B的精准时序实现原理,剖析其非标准通信协议的关键细节。通过实际操作指导,帮助开发者稳定驱动ws2812b灯带,解决常见时序偏差问题,提升项目显示效果与响应一致性。

weixin_42584586的博客 587

Copilot在游戏开发中的应用:Unity脚本自动生成实践

2021年GitHub Copilot的发布,为代码自动生成带来了革命性突破。作为基于GPT模型训练的AI辅助编程工具,Copilot能根据注释、函数名、代码上下文,实时生成符合语法和逻辑的代码片段,甚至完整脚本。减少重复劳动:自动生成模板代码(如生命周期、结构),让你专注核心逻辑;降低API学习成本:对Unity特有的组件(RigidbodyAnimator)、类(),Copilot能生成符合最佳实践的调用代码;统一代码风格:通过团队共享提示词模板,让生成的代码符合项目规范;快速原型迭代。

AIGC应用创新大全的博客 1619

Elasticsearch数据结构——倒排索引

先介绍一下正向索引: 当用户发起查询时(假设查询为一个关键词),搜索引擎会扫描索引库中的所有文档,找出所有包含关键词的文档,这样依次从文档中去查找是否含有关键词的方法叫做正向索引。互联网上存在的网页(或称文档)不计其数,这样遍历的索引结构效率低下,无法满足用户需求。 正向索引结构如下: 文档1的ID→单词1的信息;单词2的信息;单词3的信息… 文档2的ID→单词3的信息;单词2的信息;单词4的信息… 为了增加效率,搜索引擎会把正向索引变为反向索引(倒排索引)即把“文档→单词”的形式变为“单词→文档”的形式。

qq_40277163的博客 3977

YOLOv11改进 | 损失函数改进篇 | 2024最新高质量的目标检测边界框回归损失Unified-IoU、FocalUIoU、FocalInvUIoU(设置动态epoch参数)

本文给大家带来的改进机制是最近新提出的高质量的目标检测边界框回归损失,其通过动态调整模型对不同质量预测框的关注,优化目标检测中的边界框回归精度。UIoU引入了FocalBox方法,通过缩放预测框与真实框分配权重,并采用了退火策略(引入动态参数epoch),逐渐将模型的注意力从低质量预测框转移到高质量预测框,平衡了训练速度与检测精度。其还有一定的解决样本不平衡问题,同时该损失函数可以和现有的任何边界框回归损失函数进行结合,例如ShapeIoU和其结合可以形成二次创新,它是一种类似于之前的Inner的机制.

Snu77的博客 4591

Elasticsearch 倒排索引

一、简介 Elasticsearch 是建立在全文搜索引擎库 Lucene 基础上的搜索引擎,它隐藏了 Lucene 的复杂性,取而代之的提供一套简单一致的 RESTful API,不过掩盖不了它底层也是 Lucene 的事实。Elasticsearch 的倒排索引,其实就是 Lucene 的倒排索引。 二、为什么叫倒排索引 在没有搜索引擎时,我们是直接输入一个网址,然后获取网站内容,这时我们的行为是: document -> to -> words 通过文章,获取里面的单词,这便.

清茶的博客 2169

Halcon实例转OpenCVSharp--粘连物体分割与计数(基于距离变换+分水岭算法) (附源码)

本文作者Color Space,文章未经作者允许禁止转载! 本文将介绍OpenCVSharp应用实例--粘连物体分割与计数(基于距离变换+分水岭算法)! 本文使用的OpenCVSharp版本---》v4.5.3。 实现目标:将下图中的硬币分割出来并计算数量。 预期效果图: ...

Color Space的博客 2423

【毕设级教程】从0到1实现基于YOLOv8的xView卫星图像目标检测系统(含UI界面,助力遥感智能毕设)

本文基于YOLOv8模型设计了一个面向xView卫星图像的目标检测系统。首先对xView数据集进行了格式转换处理,将原始多边形标注转换为YOLO格式的边界框标注。随后通过配置YOLOv8模型参数完成训练,实现了对卫星图像中建筑、车辆等多类目标的准确识别。为提高系统交互性,采用PyQt开发了可视化界面,支持图像选择、实时检测和结果展示功能。整个系统兼顾学术价值和实用价值,为遥感领域的自动化目标检测提供了可行方案。

m0_64661770的博客 131

es倒排索引_ES系列:elasticsearch数据的存储结构

对于任何数据存储工具,都应该清楚明了的知道其数据存储结构。下面说说elasticsearch中数据存储的一些关键点倒排索引倒排索引本质是哈希表,完成由搜索词到文档id的映射,这也是elasticsearch搜索比较快速高效的一个重要原因。倒排索引也就是说在存储数据的时候,先进行数据分析,完成可搜索的词条到文档的映射。Doc Value完成文档到词项的映射,在索引数据与建立倒排索引时同时建立doc ...

weixin_39862382的博客 542

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

温习:ES核心数据结构——倒排索引的原理及示例

同样的,我们可以使用一个更复杂的文档结构来演示倒排索引的工作原理,尤其是涉及嵌套字段、多字段、不同类型的数据等情况。在这个结构中,每个单词都记录它出现在哪些文档中,以及在文档中的位置。在索引这些文档时,Elasticsearch会对文本字段进行分词,并为每个字段生成独立的倒排索引。通过理解倒排索引的工作原理,开发者可以更好地理解Elasticsearch的高效全文搜索能力,并能够根据业务需求优化查询和索引策略。这样,当用户搜索某个词时,搜索引擎可以快速查找倒排索引,找到包含该词的所有文档。

流楚丶格念的博客 1397

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

es倒排索引和mysql索引的_Elasticsearch倒排索引结构

一切设计都是为了提高搜索的性能倒排索引(Inverted Index)也叫反向索引,有反向索引必有正向索引。通俗地来讲,正向索引是通过key找value,反向索引则是通过value找key。先来回忆一下我们是怎么插入一条索引记录的:curl -X PUT "localhost:9200/user/_doc/1" -H 'Content-Type: application/json' -d'{"na...

weixin_35996612的博客 472

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

深度剖析Elasticsearch核心倒排索引数据结构

Elasticsearch 简介 Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。Elasticsearch 建立在全文搜索引擎 Apache Lucene™ 基础上,通过 Lucene 的倒排索引技术实现比关系型数据库更快的过滤,从而很方便的使大量数据具有搜索、分析和探索的能力。 毫无疑问,Elasticsearch的底层核心是倒排索引。 Elasticsearch通过扩展服务器集群的方式,将数据以文档的形式,FST压缩的方式,分布式实时存储;同时为文件每一个字段添加倒排索引

BigData_Hubert的博客 2833

es倒排索引和mysql索引的_Elasticsearch倒排索引结构?为啥比 MYSQL 快

1、什么是倒排索引?倒排索引(Inverted Index)也叫反向索引,有反向索引必有正向索引。通俗地来讲,正向索引是通过key找value,反向索引则是通过value找key。先来回忆一下我们是怎么插入一条索引记录的:curl -X PUT "localhost:9200/user/_doc/1" -H 'Content-Type: application/json' -d'{"name" :...

weixin_39672396的博客 359

es的倒排索引结构

在倒排索引中,对于每个词语(或称为项,term),都会记录包含该词语的文档的位置信息。这种结构的设计使得可以通过词语来快速定位到包含该词语的文档,从而实现高效的文本检索。通过倒排索引,可以快速找到包含特定词语的文档,并且可以进行高效的文本搜索和检索。倒排索引在搜索引擎和信息检索系统中得到了广泛的应用。倒排索引(Inverted Index)是信息检索领域常用的一种数据结构,用于快速定位包含特定词语的文档或文本。

qq_63431773的博客 438

深入解析Elasticsearch的内部数据结构和机制:行存储、列存储与倒排索引之倒排索引(三)

首先,我们需要了解传统的正向索引。在正向索引中,文档是按照它们在磁盘上的顺序进行存储的,每个文档都有一个与之关联的文档ID。如果我们要查找某个词在哪些文档中出现,就需要遍历整个文档集合,这显然是非常低效的。倒排索引则解决了这个问题。在倒排索引中,有一个单词列表,对于列表中的每个单词,都有一个包含它的文档的列表。这样,当我们要查找某个词在哪些文档中出现时,只需要查找该词的条目,然后获取与之关联的文档列表即可。倒排索引是Elasticsearch实现高效搜索的核心技术之一。

码到三十五 2313

Elasticsearch 核心原理:正向索引 vs 倒排索引

正向索引和倒排索引是搜索引擎最核心的两个数据结构,也是 Elasticsearch 为什么能秒级搜索海量数据的关键。正向索引是什么?倒排索引是什么?为什么 ES 非要用倒排索引?本文用最简单的例子、流程图、对比表,让你彻底理解这两个底层概念。正向索引 = 按文档ID找关键词先找到文档,再看里面包含什么词。倒排索引 = 按关键词找文档ID先找到关键词,直接拿到所有包含它的文档。正向索引:文档 → 词语,根据ID找内容,数据库用。倒排索引:词语 → 文档,根据关键词找ID,ES 用。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 1913

Elasticsearch的倒排索引结构(*)

一切设计都是为了提高搜索的性能 倒排索引(Inverted Index)也叫反向索引,有反向索引必有正向索引。通俗地来讲,正向索引是通过key找value,反向索引则是通过value找key。 先来回忆一下我们是怎么插入一条索引记录的: curl -X PUT "localhost:9200/user/_doc/1" -H 'Content-Type: application/json' -d' { "name" : "Jack", "gender" : 1, "age" : 20

weixin_42408447的博客 727

倒排索引的知识点

倒排索引(Inverted Index)是一种常用于搜索引擎中的数据结构,用于快速定位包含特定词项的文档或记录。它将文档中的每个词项作为关键字,建立映射到包含该词项的文档或记录的索引。倒排索引的结构可以理解为一个由词项(关键字)和对应文档(记录)列表组成的字典。每个词项对应一个包含该词项的文档列表,该列表记录了出现该词项的所有文档或记录的位置。使用倒排索引可以实现非常快速的文本搜索,而不需要遍历所有文档。

2201_75618397的博客 410

es的倒排索引结构理解

首先倒排索引由 词项索引(termIndex),词项字典(termDict),postingList(实际文档ID)在使用分词搜索小米手机的时候,文档3会命中2个字典 ,那么文档3的score就会很高,就会比较靠前;termIndex存储的不是所有的term,而是term的前缀,用于快速定位term;顾名思义,是词项字典的一个索引,用于快速定位词项字典。数据结构使用的是FST,就当成是一棵树理解就可以。具体的记分算法可以百度,这里就做扩展;词项字典存储的是所有的分词;存储的是命中字典的文档ID;

zuixinwenyue的博客 288

Elasticsearch 入门到精通-Elasticsearch核心倒排索引数据结构

如图所示B-Tree+整体分区法查找7的时候,只需3次就能找到,相当于“三分法”一样比二分法更加的有效率,但是如果数据每次“三分”时都处于中间,那就无形的增加了判断次数(这种做法,拿要检索的值7和中间块的两头6和11比较),但是这只是极少的数据而已,在海量的数据面前,这数据更是微不足道,所以根据二八定律,它基本上能满足搜索更快的需求。因此就有了Term Index,它就像字典里一个更大的章节一样,每个大的章节再对应着多个小的章节Term Dictionary,这样就能实现速的找到某个term。

1036

Elasticsearch - Elasticsearch 倒排索引原理 从数据结构讲起

Elasticsearch倒排索引原理解析:从基础数据结构到高效检索实现。本文深入剖析了Elasticsearch核心的倒排索引机制,通过对比正排索引与倒排索引的差异,揭示倒排索引"空间换时间"的设计思想。详细讲解了词典(FST)和倒排列表(Posting List)的组成结构,包括文档频率、词频、位置信息等元数据。文章还演示了从文本分析到索引构建的完整流程,并介绍了Lucene采用的差值编码、位图压缩等优化技术。无论您是搜索领域初学者还是希望深入理解底层原理的开发者,都能通过本文掌握E

千淘万漉虽辛苦,吹尽狂沙始到金 2万+
上一篇: 利用策略模式优化过多 if else 代码
下一篇: Elasticsearch Index模块
javaQQ群 866865133
博客等级 码龄8年 59粉丝 309原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值