Elasticsearch的读请求内部原理

最新推荐文章于 2024-06-08 21:15:49 发布
原创 最新推荐文章于 2024-06-08 21:15:49 发布 · 318 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了Elasticsearch中读请求的处理流程，包括客户端如何与协调节点交互，协调节点如何对文档进行路由并转发请求，以及接收请求的节点如何响应。特别关注了在文档索引建立过程中的特殊读取情况。

1、客户端发送请求到任意一个node，成为coordinate node
2、coordinate node对document进行路由，将请求转发到对应的node，此时会使用round-robin随机轮询算法，在primary shard以及其所有replica中随机选择一个，让读请求负载均衡
3、接收请求的node返回document给coordinate node
4、coordinate node返回document给客户端
5、特殊情况：document如果还在建立索引过程中，可能只有primary shard有，任何一个replica shard都没有，此时可能会导致无法读取到document，但是document完成索引建立之后，primary shard和replica shard就都有了

【elasticsearch】 document 查询原理
九师兄
10-03 425
1.概述 2.查询请求的原理 首先客户端选择任意一个节点，发送请求get document id=1，P1 发送到node1上时，node1就是协调节点（coordinate node），coordinate node对document进行路由，路由之后，就知道在哪个primary shard上面了。 前面的过程和增删改是一样的，后面有点不同了。coordinate node知道在哪个primary shard上面后，不一定直接发送到对应的primary shard上，也可以发送到replica sha.
ElasticSearch XPack原理与代码实例讲解
最新发布
AI天才研究院
07-02 377
ElasticSearch X-Pack原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Elasticsearch,X-Pack,搜索索引,数据可视化,安全权限管理,机器学习
ES:document查询内部原理揭秘
标题
09-27 628
1、客户端发送请求到任意一个node，成为coordinate node 2、coordinate node对document进行路由，将请求转发到对应的node，此时会使用round-robin随机轮询算法，在primary shard以及其所有replica中随机选择一个，让读请求负载均衡 3、接收请求的node返回document给coordinate node 4、coordinate n...
es中doucment失效的同时更新可能出现的问题
fangletian1981的专栏
06-12 2453
elastic search的document在正常情况下更新是没什么问题的，但是如果刚好在ttl到期的同时去更新这个document，会有什么问题呢？ 这两天刚好遇到了这个情况，报如下异常： at org.elasticsearch.common.util.concurrent.BaseFuture$Sync.get(BaseFuture.java:279) at org.
es--基础--6.3--springboot--Document注解
zhou920786312的博客
07-03 727
【代码】es--基础--6.3--springboot--Document注解。
分布式搜索引擎es原理
qq_42841340的博客
02-21 9308
分布式架构原理 es中存储数据的基本单位是索引 index：mysql里的一张表 ，一个index里可以有多个type 每个type有一个mapping，mapping就是这个type的表结构 接着你搞一个索引，这个索引可以拆分成多个shard，每个shard存储部分数据。 这个shard的数据实际是有多个备份，每个shard都有一个primary shard，负责写入数据 但是还有几个repli...
elasticsearch集群内部原理总结
lijunliang2017的博客
01-12 536
1、前言 ElasticSearch 的主旨是随时可用和按需扩容。 而扩容可以通过购买性能更强大（垂直扩容，或纵向扩容） 或者数量更多的服务器（水平扩容，或横向扩容）来实现。 虽然 Elasticsearch 可以获益于更强大的硬件设备，但是垂直扩容是有极限的。 真正的扩容能力是来自于水平扩容—​为集群添加更多的节点，并且将负载压力和稳定性分散到这些节点中。 对于大多数的数据库而言，通常需要对应用程序进行非常大的改动，才能利用上横向扩容的新增资源。 与之相反的是，ElastiSearc...
【ES专题】ElasticSearch功能详解与原理剖析
qq_32681589的博客
11-07 1294
使用：搜索和聚合操作语法，理解分词，倒排索引，相关性算分（文档匹配度）优化： 数据预处理，文档建模，集群架构优化，读写性能优化学习了ES的预处理器弄明白了ES的读写流程，以及ES写原理。
Elasticsearch之写入原理以及调优
励志成为一名优秀的全能型软件开发工程师。
06-08 2418
你发布的内容在搜索服务中需要建立索引，而且你的数据可能并不会马上被写入索引，而是等待要写入的数据达到一定数量之后，批量写入。在很多业务场景中经常需要查询10000条以后的数据，当遇到不能查询10000条以后的数据的问题之后，网上的很多答案会告诉你可以通过放开这个参数的限制，将其配置为100万，甚至1000万就行。如果你不知道这个参数的意义，很可能导致的后果就是频繁的发生OOM而且很难找到原因，设置一个合理的大小是需要通过你的各项指标参数来衡量确定的，比如你用户量、数据量、物理内存的大小、分片的数量等等。
深度解析：Elasticsearch写入请求处理流程
醉鱼的博客
03-21 825
数量，对于有的索引，例如日志，每天、每周、每月的日志被单独存在一个索引上，老得索引一般都是只读的，也不太可能发生变化，所以我们就可以使用这个。提供所有还没有被刷到磁盘的操作的一个持久化记录。在 Elasticsearch 进行提交操作的时候，成本是非常高的，所以策略就是在写入到内存缓冲区的时候，同步写入一份数据到。数量太多，每一个都会造成文件句柄、内存、CPU的大量消耗，还有一个更重要的点就是，每个检索请求也会轮流检查每一个。最后送上一个我自己理解的图，参考了官网的描述，以及网上画的，如有错误欢迎指出。
Elasticsearch读(查询)数据的过程
欢迎访问,Viola的博客!
03-17 1870
时间：2015-6-14 地点：操场前的小树林规模：大约30个招聘单位 我和小伙伴上午在招聘会那转了转，发现在我们学校招聘教师，销售，设计师比较多，有好多招聘没有专业限制，比如销售，话务员，导购等一些大多数人基本都可以干的工作。比较专业一些的是老师，设计师，软件工程师（only one），机械类的工作。 福利待遇： 工资1000-3000元人民币的比较多 5000-8000的比较少
es--基础--3.2--restful接口--查询
zhou920786312的博客
07-03 626
prefix 查询用于查询某个字段中以给定前缀开始的文档，比如查询 title 中含有以 java 为前缀的关键词的文档，那么含有 java、javascript、javaee 等所有以 java 开头关键词的文档都会被匹配。boosting 查询中指定了抑制因子为 0.2，publish_time 的值在 2015-01-01 之后的文档得分不变，publish_time 的值在 2015-01-01 之前的文档得分为原得分的 0.2 倍。type query 用于查询具有指定类型的文档。
spring-data-elasticsearch (elasticsearch 6.8.0) @Document 和 @Field 注解详解
nandao158的博客
08-02 8629
首先在用法上的区别，@Document 一般用在类上，引起其他类。而@Field 注解一般用在参数上，比如定义一个es操作的VO： 1、创建 ArticleEsDto import java.io.Serializable; import java.util.Date; import lombok.Data; import lombok.ToString; import org.springframework.data.annotation.Id; import org.springframewor.
ES 26 - Elasticsearch document数据路由以及document 查询内部原理图解揭秘
xiangjai的专栏
10-22 562
document数据路由 1. 什么是document路由 2. 路由算法 shard = hash(routing) % number_of_primary_shards 3. 手动指定routing 4 primary shard数量不可变的原因一旦index建立，primary shard是不允许修改的，但是replica shard可以随时修改。primary shard的数量确定之后不可更改，这是因为，数据路由时确定了shard的数值，后续primary shard数量变了的话，再根据路由
elasticsearch的Document的注解属性解释
Rallos的博客
01-18 1305
public @interface Document { String indexName(); //索引库的名称，个人建议以项目的名称命名 String type() default ""; //类型，个人建议以实体的名称命名 short shards() default 5; //默认分区数 short replicas() default 1; //每个分区默认的备份数 String refreshInterval() default "1s"; //刷新间隔 String i...
springboot es索引@Document通过动态加载bean实现动态改变
qq_39352381的博客
08-23 4120
注解内容动态装载与bean的销毁与重载
Elasticsearch(033)：es中Document（文档）之删除文档
热门推荐
瘦子没有夏天
09-04 1万+
一、概述 在上一小节中，我们学习了文档的定义和新增语法。当然，有新增操作，相反的就会有删除操作。es中的文档的删除操作分为两类: 主键删除 和查询删除。 二、删除文档（主键删除） 示例： 下面操作的含义 删除id为1的文档记录。 DELETE example/docs/1 返回结果 { "_index": "example", "_type": "docs", "_id": "1", "_version": 2, "result": "deleted", "_shards": {
# ES客户端文档操作 #
chaochao2113的博客
06-12 402
这是有关es的文档案例操作
使用Spring Data Elasticsearch时，@Document映射对象返回为null
baidu_36720706的博客
06-15 2743
使用Spring Data Elasticsearch时，@Document映射对象返回为null 如果你使用的spring-data-elasticsearch.jar:4.0.1.RELEASE,默认已经移除Jackson2实现，默认使用ElasticsearchEntityMapper。请检查是否对象定义的类型与ES的mapping定义不一致，或者检查@Field是否标注正确的（value/name属性）。 当前引用的jar包spring-data-elasticsearch.jar:3.2.0.RE
Elasticsearch面试指南与Lucene内部结构解析
Elasticsearch（简称ES）是一种高度可扩展的开源全文搜索和分析引擎，常用于存储、搜索和分析大量数据。它基于Apache Lucene构建，并提供了一个分布式、多用户能力的全文搜索引擎，基于RESTful web接口。Elastic...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值