用图讲解 ElasticSearch 搜索原理,你就明白了!

某物流客户Elasticsearch集群性能优化案例 客户背景 客户使用ES来进行数据存储、快速查询业务订单记录,但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高,查询延迟大,导致前端业务访问出现大量超时的情况,极大影响其客户使用体验。 部分监控如下图: 1)集群架构如下: 集群节点配置:8数据节点(16C64G);3主节点(8C32G) 2)集群存在问题分析 业务层面 与客户业务人员沟通,业务处理中有几个聚合查询会占用较多的内存,且这类查询对准确性要求较高,需精确统计所有匹配结果... 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 8:55 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:cnblogs.com/richaaaard/p/5226334.html

  • 摘要

  • 版本

  • 内容

    • 图解ElasticSearch

    • 图解Lucene

    • 搜索发生时

    • 缓存的故事

    • 在Shard中搜索

    • 如何Scale

    • 一个真实的请求


摘要

先自上而下,后自底向上的介绍ElasticSearch的底层工作原理,试图回答以下问题:

  • 为什么我的搜索 *foo-bar* 无法匹配 foo-bar ?

  • 为什么增加更多的文件会压缩索引(Index)?

  • 为什么ElasticSearch占用很多内存?


版本

elasticsearch版本: elasticsearch-2.2.0

内容

图解ElasticSearch

云上的集群

集群里的盒子

云里面的每个白色正方形的盒子代表一个节点——Node。

节点之间

在一个或者多个节点直接,多个绿色小方块组合在一起形成一个ElasticSearch的索引。

索引里的小方块

在一个索引下,分布在多个节点里的绿色小方块称为分片——Shard。

Shard=Lucene Index

一个ElasticSearch的Shard本质上是一个Lucene Index。

Lucene是一个Full Text 搜索库(也有很多其他形式的搜索库),ElasticSearch是建立在Lucene之上的。接下来的故事要说的大部分内容实际上是ElasticSearch如何基于Lucene工作的。

图解Lucene

Mini索引——segment

在Lucene里面有很多小的segment,我们可以把它们看成Lucene内部的mini-index。

Segment内部

有着许多数据结构

  • Inverted Index

  • Stored Fields

  • Document Values

  • Cache

最最重要的Inverted Index

Inverted Index主要包括两部分:

  1. 一个有序的数据字典Dictionary(包括单词Term和它出现的频率)。

  2. 与单词Term对应的Postings(即存在这个单词的文件)。

当我们搜索的时候,首先将搜索的内容分解,然后在字典里找到对应Term,从而查找到与搜索相关的文件内容。

查询“the fury”
自动补全(AutoCompletion-Prefix)

如果想要查找以字母“c”开头的字母,可以简单的通过二分查找(Binary Search)在Inverted Index表中找到例如“choice”、“coming”这样的词(Term)。

昂贵的查找

如果想要查找所有包含“our”字母的单词,那么系统会扫描整个Inverted Index,这是非常昂贵的。

在此种情况下,如果想要做优化,那么我们面对的问题是如何生成合适的Term。

问题的转化

对于以上诸如此类的问题,我们可能会有几种可行的解决方案:

  • * suffix -> xiffus *

    如果我们想以后缀作为搜索条件,可以为Term做反向处理。

  • (60.6384, 6.5017) -> u4u8gyykk

    对于GEO位置信息,可以将它转换为GEO Hash。

  • 123 -> {1-hundreds, 12-tens, 123}

    对于简单的数字,可以为它生成多重形式的Term。

解决拼写错误

一个Python库 为单词生成了一个包含错误拼写信息的树形状态机,解决拼写错误的问题。

Stored Field字段查找

当我们想要查找包含某个特定标题内容的文件时,Inverted Index就不能很好的解决这个问题,所以Lucene提供了另外一种数据结构Stored Fields来解决这个问题。本质上,Stored Fields是一个简单的键值对key-value。默认情况下,ElasticSearch会存储整个文件的JSON source。

Document Values为了排序,聚合

即使这样,我们发现以上结构仍然无法解决诸如:排序、聚合、facet,因为我们可能会要读取大量不需要的信息。

所以,另一种数据结构解决了此种问题:Document Values。这种结构本质上就是一个列式的存储,它高度优化了具有相同类型的数据的存储结构。

为了提高效率,ElasticSearch可以将索引下某一个Document Value全部读取到内存中进行操作,这大大提升访问速度,但是也同时会消耗掉大量的内存空间。

总之,这些数据结构Inverted Index、Stored Fields、Document Values及其缓存,都在segment内部。

搜索发生时

搜索时,Lucene会搜索所有的segment然后将每个segment的搜索结果返回,最后合并呈现给客户。

Lucene的一些特性使得这个过程非常重要:

  • Segments是不可变的(immutable)

    • Delete? 当删除发生时,Lucene做的只是将其标志位置为删除,但是文件还是会在它原来的地方,不会发生改变

    • Update? 所以对于更新来说,本质上它做的工作是:先删除,然后重新索引(Re-index)

  • 随处可见的压缩

    Lucene非常擅长压缩数据,基本上所有教科书上的压缩方式,都能在Lucene中找到。

  • 缓存所有的所有

    Lucene也会将所有的信息做缓存,这大大提高了它的查询效率。

缓存的故事

当ElasticSearch索引一个文件的时候,会为文件建立相应的缓存,并且会定期(每秒)刷新这些数据,然后这些文件就可以被搜索到。

随着时间的增加,我们会有很多segments,

所以ElasticSearch会将这些segment合并,在这个过程中,segment会最终被删除掉

这就是为什么增加文件可能会使索引所占空间变小,它会引起merge,从而可能会有更多的压缩。

举个栗子

有两个segment将会merge

这两个segment最终会被删除,然后合并成一个新的segment

这时这个新的segment在缓存中处于cold状态,但是大多数segment仍然保持不变,处于warm状态。

以上场景经常在Lucene Index内部发生的。

在Shard中搜索

ElasticSearch从Shard中搜索的过程与Lucene Segment中搜索的过程类似。

与在Lucene Segment中搜索不同的是,Shard可能是分布在不同Node上的,所以在搜索与返回结果时,所有的信息都会通过网络传输。

需要注意的是:

1次搜索查找2个shard = 2次分别搜索shard

对于日志文件的处理

当我们想搜索特定日期产生的日志时,通过根据时间戳对日志文件进行分块与索引,会极大提高搜索效率。

当我们想要删除旧的数据时也非常方便,只需删除老的索引即可。

在上种情况下,每个index有两个shards

如何Scale

shard不会进行更进一步的拆分,但是shard可能会被转移到不同节点上

所以,如果当集群节点压力增长到一定的程度,我们可能会考虑增加新的节点,这就会要求我们对所有数据进行重新索引,这是我们不太希望看到的,所以我们需要在规划的时候就考虑清楚,如何去平衡足够多的节点与不足节点之间的关系。

节点分配与Shard优化

  • 为更重要的数据索引节点,分配性能更好的机器

  • 确保每个shard都有副本信息replica

路由Routing

每个节点,每个都存留一份路由表,所以当请求到任何一个节点时,ElasticSearch都有能力将请求转发到期望节点的shard进一步处理。

一个真实的请求

Query

Query有一个类型filtered,以及一个multi_match的查询

Aggregation

根据作者进行聚合,得到top10的hits的top10作者的信息

请求分发

这个请求可能被分发到集群里的任意一个节点

上帝节点

这时这个节点就成为当前请求的协调者(Coordinator),它决定:

  • 根据索引信息,判断请求会被路由到哪个核心节点

  • 以及哪个副本是可用的

  • 等等

路由

在真实搜索之前

ElasticSearch 会将Query转换成Lucene Query

然后在所有的segment中执行计算

对于Filter条件本身也会有缓存

但queries不会被缓存,所以如果相同的Query重复执行,应用程序自己需要做缓存

所以,

  • filters可以在任何时候使用

  • query只有在需要score的时候才使用

返回

搜索结束之后,结果会沿着下行的路径向上逐层返回。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

兄弟,艿一口,点个赞!????

终于有人把Elasticsearch原理讲明白了! 本文以诗词飞花令为引,系统讲解了搜索引擎核心技术。首先通过背诗困境引出倒排索引原理,随后详细解析Elasticsearch的分布式架构、核心概念(索引/类型/文档)及数据类型与分词机制。文章重点介绍了其在ELK日志系统中的典型应用,并提供了Java客户端操作Elasticsearch的完整代码示例,包括索引创建、文档增删改查等核心功能实现。最后总结了从倒排索引到分布式搜索引擎的技术演进路径,为读者构建了完整的知识体系。(149字) 阅读详情

相关推荐

解密OpenVLA的ActionTokenizer:如何用256个Token控制7维机器人动作

本文深入解析了OpenVLA模型中ActionTokenizer的核心机制。该分词器通过将7维连续机器人动作空间离散化为256个Token,巧妙地解决了大语言模型输出精确控制指令的难题。文章详细阐述了其设计哲学、与Llama-2词表的集成方式,并分析了256个离散区间在精度与效率间的平衡,为机器人视觉-语言-动作控制提供了关键技术桥梁。

weixin_29209801的博客 478

增大max_result_window是错的,ES只能查询前10000条数据的正确解决方案

网上你能搜到的大部分解决方法都是让你把`max_result_window`参数阈值调大。没错,这的确能解决眼前问题,但是会带来严重的后果,最常见的就是后期频繁的 OOM,而且很难发现原因。

Elastic开源社区 1万+

Latex参考文献中大写字母编译后自动变成了小写,如何保持原字母大写形式

bib文件参考文献中大写自动变为小写,如何保持原大写问题。Latex: 保持参考文献大小写,overleaf文献编译后,原大写字母自动变成了小写字母,如何保持原字母大写

我的个人博客 5806

【elasticsearch】关于elasticsearch的max_result_window限制问题的解决方式思考

解决es作为日志搜索引擎,默认10000条的max_result_window问题。

shen12138的博客 3140

保姆级教程:手把手教你用RKISP TURN为RV1106生成和配置IQfile(附AIQ版本匹配避坑指南)

本文提供RV1106 ISP调试的完整指南,详细讲解如何使用RKISP TURN工具生成和配置IQfile,包括环境搭建、参数调试、设备树配置及常见问题解决方案。特别强调AIQ版本匹配的重要性,帮助开发者避免常见陷阱,提升图像信号处理效率。

weixin_42520796的博客 501

【5G NB-IoT NTN】3GPP R17 NB-IoT NTN介绍_nbiot ntn

你的支持,我的动力;祝各位前程似锦,offer不断,步步高升!!!” />你的支持,我的动力;祝各位前程似锦,offer不断,步步高升!!!更多资料点击此处获qu!!

2401_83703866的博客 3170

Elasticsearch运维系列_ES之max_result_window 含义-对性能影响及参数调整

如果你觉得这篇文章能给你带来收获,请关注我公众号:这篇文章主要给大家介绍max_result_window参数及其对性能影响。

shlei5580的专栏 3229

Transformer在CV里太耗算力?手把手拆解Restormer的MDTA与GDFN模块

本文深度解析了CVPR2022最佳论文提名作品Restormer的创新模块MDTA与GDFN,有效解决了Transformer在计算机视觉领域的高计算复杂度问题。通过通道注意力降维和门控前馈网络设计,Restormer在图像恢复重建任务中显著降低计算量,同时保持高性能,为实时图像处理提供了可行方案。

weixin_30258901的博客 447

干货 | 全方位深度解读 Elasticsearch 分页查询

1、关于 Elasticsearch 分页查询,这几个问题经常被问到问题1:想请问下,一次性获取索引上的某个字段的所有值(100 万左右),除了把 max_result_window 调大...

铭毅天下Elasticsearch 9278

KEPServerEX 6 之 GE Ethernet 连接FANUC ROBOT机器人实战

GE Fanuc是GE公司控制系统部门的一部分,成立于1998年。其主要业务涵盖工业自动化、控制系统、PLC和组态软件等领域。其产品可用于包括自动化、过程自动化、国防、汽车制造、通讯、医疗和航空航天等各种工业领域2009 8月 GE和FANUC今天宣布两家公司已同意解除合资企业GE FANUC自动化公司。通过以上历史,GE Ethernet Driver 当下还支持对接FANUC ROBOT机器人 就不奇怪了。

-雲飛兄-博客 1796

1小时读完100篇文献的正确打开方式

各位同仁好,我是七哥。一个在高校里从事人工智能 相关领域研究,钻研用大模型AI实操的学术人。可以和七哥交流学术写作或Gemini、GPT、Claude 等大模型 学术实操相关问题,多多交流,相互成就,共同进步。文献阅读与整理一般都是最先开始、却也最容易被低估的一步。很多学术同仁一开始就陷入越读越多、越读越乱的状态:论文下载了一大堆,但真正能用来支撑自己观点的内容却始终难以提炼出来。一方面,我们需要通过文献了解该研究领域的整体发展脉络,把握当前学界已经讨论到什么程度;

智能AI让学术科研更容易 50

搜索引擎技术之概要预览

搜索引擎技术之概要预览前言    近些天在学校静心复习功课与梳理思路(找工作的事情暂缓),趁闲暇之际,常看有关搜索引擎相关技术类的文章,接触到不少此前未曾触碰到的诸多概念与技术,如爬虫,网页抓取,分词,索引,查询,排序等等,更惊叹于每一幅精彩的架构图,特此,便有记录下来的冲动,以作备忘。    本文从最基本的搜索引擎的概念谈起,到全文检索的概念,由网络蜘蛛,分词技术,系统架构,排序的讲解(结合go

结构之法 算法之道 5万+

Android 9.0 延时开机动画解决首次开机黑屏和去掉android正在启动的提示框

在9.0的系统产品rom定制化开发中,在一些产品中会出现在首次开机的时候,由于在开机动画播放完以后会出现几秒短暂的黑屏情况,然后进入默认Launcher,这在产品体验上 也是感觉到有点差,所以会要求在去掉这个首次开机黑屏的效果,和在启动过程中的 android is starting这个提示框的这些效果优化,接下来就分析下相关功能, 然后实现这个功能的开发

安卓兼职framework和app工程师的博客 3246

实战项目 Boost 搜索引擎

我们平时在用浏览器搜索时,服务器给我们返回的分别是跟搜索关键字相关的一个个网站信息,网站信息分别包括网站的标题,网站内容的简述,和该网站的url。在点击标题后,会跳转到对应链接的页面。平时我们用的搜索引擎,比如说百度,谷歌等等,他们都是搜索全网的信息的,我们项目做的是一个小范围的搜索引擎,一个用 boost库 实现的 boost站内搜索。是C++的准标准库, 它提供了很多C++没有的功能,可以称之为是C++的后备力量。

AAlykk的博客 3519

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

ElasticSearch学习笔记(一)-搜索引擎介绍及ElasticSearch安装

养成习惯,先赞后看!! 目录1.搜索引擎1.1-什么是搜索引擎1.2-主流的搜索引擎有哪些1.3-搜索引擎为什么这么快?2.安装步骤2.1-安装环境2.2-主要配置文件2.3-创建文件夹并上传文件并解压2.4-修改配置文件 1.搜索引擎 1.1-什么是搜索引擎 1.2-主流的搜索引擎有哪些 目前主流的搜索引擎主要有三大家分别是: Solr ElasticSearch Hermes 接下来我们分别介绍一下这三者. 1.3-搜索引擎为什么这么快? 既然我们想要知道搜索引擎为什么这么快的话,我们就

lovely__RR的博客 735

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

深入搜索引擎原理

之前几段工作经历都与搜索有关,现在也有业务在用搜索,对搜索引擎做一个原理性的分享,包括搜索的一系列核心数据结构和算法,尽量覆盖搜索引擎的核心原理,但不涉及数据挖掘、NLP等。文章有点长,多多指点~~ 一、搜索引擎引题 搜索引擎是什么? 这里有个概念需要提一下。信息检索 (Information Retrieval 简称 IR) 和 搜索 (Search) 是有区别的,信息检索是一门学科,研究...

分享 1105

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Elasticsearch - Elasticsearch 倒排索引原理 从数据结构讲起

Elasticsearch倒排索引原理解析:从基础数据结构到高效检索实现。本文深入剖析了Elasticsearch核心的倒排索引机制,通过对比正排索引与倒排索引的差异,揭示倒排索引"空间换时间"的设计思想。详细讲解了词典(FST)和倒排列表(Posting List)的组成结构,包括文档频率、词频、位置信息等元数据。文章还演示了从文本分析到索引构建的完整流程,并介绍了Lucene采用的差值编码、位图压缩等优化技术。无论您是搜索领域初学者还是希望深入理解底层原理的开发者,都能通过本文掌握E

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

C++之基于正倒排索引的Boost搜索引擎项目介绍

本文分两部分核心内容:其一,项目开发是计算机领域理论落地的关键,能将编程、数据结构等知识转化为实战能力,在解决问题中培养思维,还可让人熟悉工业界开发流程,同时是求职深造的重要能力证明;其二,搜索引擎依据关键词筛选信息,核心依赖正倒排索引,倒排索引按关键词快速找文档ID,正排索引凭ID取文档内容,二者协作完成检索,且爬虫与索引构建后台持续运行。

fyy31的博客 2420

Java开发 - Elasticsearch初体验

es全称Elasticsearch,开发界简称es,如果你是做开发的,和后台接触时多多少少应该听过他们说es,redis这些不知所谓的名词,今天,你学习这部分内容就是当初不明所以的东西es。首先声明,es不是SpringCloud的组件,也并不是Java专属的,其他的后端语言也可以使用es。由于es是一个由Java开发的软件,所以启动需要Java环境变量。es有一个中文名字,叫全文搜索引擎,它的优点是可以从大量数据中根据指定的关键字快速的匹配出相关的内容。

CodingFire的博客 1万+
上一篇: 跳来跳去,到底去大公司还是小公司?
下一篇: 如果世界上只有一种数据结构,那么我选择哈希!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值