Elasticsearch读(查询)数据的过程

最新推荐文章于 2025-06-20 14:42:25 发布
最新推荐文章于 2025-06-20 14:42:25 发布
阅读量1.8k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bianyamei/article/details/50386156
本文详细解析了Elasticsearch通过docid查询文档的过程，包括客户端请求的路由、哈希算法的应用、读请求的负载均衡策略及文档的最终返回流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

es可以通过doc id来查询,会根据doc id进行hash,判断出来当时把doc id分配到了哪个shard上面去,从那个shard上去查询.
1.客户端发送请求到任意一个node,成为协调节点.
2.协调节点对doc id进行哈希路由,将请求转发到对应node,此时会使用rund-robin随机轮询算法,在primary shard以及其所有replica中随机选择一个,让读请求负载均衡.
3.接收请求的node返回document给协调节点.
4.协调节点返回document给客户端.
ElasticSearch第十五讲 ES数据写入过程和写入原理以及数据如何保证一致性
程序员路同学
04-22 1773
ElasticSearch第十五讲 ES数据写入过程和写入原理以及数据如何保证一致性
Elasticsearch写入数据的过程是什么？以及是如何更新索引数据的
ygk004的博客
11-19 589
前言 最近面试过程中遇到问Elasticsearch的问题不少，这次总结一下，然后顺便也了解一下Elasticsearch内部是一个什么样的结构，毕竟总不能就只了解个倒排索引吧。本文标题就是我遇到过的两个问题，所以此次基本上只是围绕着这两个问题来总结。 ES写入数据 在介绍写入数据的过程时，先明确一下ES中的一些关键性的概念： Clouster：集群，由一到N个Elasticsearch服务节点组成。 Node：节点，组成Elasticsearch集群的基本单元，单个集群内节点名称唯一。通常一个节
ElasticSearch查询流程详解
IT巅峰技术专栏
05-12 2540
一、前言 前面已经介绍了ElasticSearch的写入流程，了解了ElasticSearch写入时的分布式特性的相关原理。ElasticSearch作为一款具有强大搜索功能的存储引擎，它的读取是什么样的呢？读取相比写入简单得多，但是在使用过程中有哪些需要我们注意的呢？本篇文章会进行详细的分析。 在前面的文章我们已经知道ElasticSearch的读取分为两种GET和SEARCH。这两种操作是有一定的差异的，下面我们先对这两种核心的数据读取方式进行一一分析。 二、GET的流程 2.1 整体流程
elasticsearch的查询流程分析
热门推荐
三劫散仙
04-02 1万+
我们都知道es是一个分布式的存储和检索系统，在存储的时候默认是根据每条记录的_id字段做路由分发的，这意味着es服务端是准确知道每个document分布在那个shard上的。相对比于CURD上操作，search一个比较复杂的执行模式，因为我们不知道那些document会被匹配到，任何一个shard上都有可能，所以一个search请求必须查询一个索引或多个索引里面的所有shard才能完整的查询到我们...
【八股消消乐】Elasticsearch优化—检索Labubu
最新发布
文艺倾年的博客
06-20 1087
💬技术栈：Elasticsearch 🔍简历内容：熟悉Elasticsearch节点角色、索引与分片基本原理。 根据业务定制Elasticsearch插件，实现基于内存使用率和CPU 使用率限流；针对xx业务实时性不高，引入消息队列Kafka，通过监听binlog并将生成消息丢到Kafka中，实现削峰和限流；针对高并发业务设计策略保护协调节点；设计简易双集群方案来替换CCR方案，成本节约了近80%。 🚩面试问：主分片是由主节点选出来的，那么主节点自己又是怎么选出来的呢？
Elasticsearch查询过程
the Blog of Forward
08-04 937
本文介绍了es的分布式search的查询流程分为query和fetch两个阶段，在query阶段会从所有的shard上读取相关document的docId及相关的排序字段值，并最终在coordinating节点上收集所有的结果数进入一个全局的排序列表后，然后获取根据from+size指定page页的数据，获取这些docId后再构建一个multi-get请求发送相关的shard上从_source里面获取需要加载的数据，最终再返回给client端，至此整个search请求流程执行完毕。......
ElasticSearch查询流程
qq_18837975的博客
06-26 746
ElasticSearch 查询分为两个阶段： 第一个阶段：分散阶段 第二个阶段：合并阶段 客户端可以向任何一个节点发送请求，当一个节点接收到请求时，这个节点就变成了协调节点，这个节点的任务是广播查询请求到所有相关分片并将它们的响应整合成全局排序后的结果集合，这个结果集合会返回给客户端。 查询示例： GET index_test_tp_01/_search { "query": { ...
【分布式搜索引擎】Elasticsearch写入和读取数据过程
男儿当自强
04-23 649
一、Elasticsearch写人数据的过程 1）客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点） 2）coordinating node，对document进行路由，将请求转发给对应的node（有primary shard） 3）实际的node上的primary shard处理请求，然后将数据同步到replica node 4）coordinating node，如果发现primary node和所有replica node都搞定之后，就返回响应结果给客
ElasticSearch 数据读写
weixin_48922154的博客
12-23 1870
Master 节点会维护一个 in-sync group，里面包含所有同步了最新数据的副本，每个分片有一个唯一标识 Allocation ID，如果某分片主副本异常，会从这些分片中选取新的主副本，来保障主副本有最新的数据。数据节点则执行真正的数据读取。通过 Primary Terms 和 Squence Numbers 来校验分布式场景的数据的一致性，以及进行数据的矫正，类似 Raft 的 terms 和 index。ES 一个索引会拆成多个分片，每个分片又有多个副本，对于文档的添加删除都是同步写的。
canal-mysql-elasticsearch:通用的数据导入功能，实现canal导入mysql数据至es，提供查询的分布式性能
05-09
canal_mysql_elasticsearch_sync 支持请star:sparkles: 基于 canal 的 Mysql 与 Elasticsearch 实时同步的 javaweb 服务。 canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。 工作原理 全量 暴露Http接口...
elasticsearch 搜索过程
qingqingdianshui的博客
02-02 519
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/search-request-search-type.html#dfs-query-then-fetch 查询类型(参数search_type指定)：  （一）        query_then_fetch  分为两个阶段：  1）        协调节点将请求发送到与
elasticsearch 查询过程
ycccsdn的博客
09-13 1661
背景 学习elasticsearch查询流程，了解es源码。在网络上看了很多elasticsearch的教程。对es的流程介绍都是停留在query then fetch层面。没有一篇真正细致的深入到流程的每一步。本篇博客旨在细致的介绍es search过程的整个调试流程，介绍的是query then fetch的流程。所以，默认对es有一定理解，且能搭建一个本地的调试环境。 请带着以下问题去读本篇文章。 elasticsearch client是如果发送请求的，又是如何接受和处理返回的结果？ 协调节点的接
ES分布式搜索原理分析
发现问题，面对问题，分析问题，解决问题，总结问题
11-10 2309
文章目录基本介绍查询阶段取回阶段 基本介绍 一个CRUD操作只处理一个单独的文档。文档的唯一性由_index, _type和routing-value（通常默认是该文档的_id）的组合来确定。这意味着我们可以准确知道集群中的哪个分片持有这个文档。 找到所有匹配的文档只完成了这件事的一半。在搜索（search）API返回一页结果前，来自多个分片的结果必须被组合放到一个有序列表中。因此，搜索的执行过程分两个阶段，称为查询然后取回（query then fetch）。 在初始化查询阶段（query phase），
Elasticsearch入门----数据读/写流程
老王的博客
11-24 1377
elasticsearch数据写入流程： 1、客户端发起数据索引（写入）请求，可以发送至集群中的任一节点，该节点会成为协调节点（coordinating node）。 2、通过hash计算出文档要写入的主分片，协调 节点根据路由将请求转发至对应的主分片（primary sharding） 所在的数据节点（data node） 。 3、数据节点 节点上的主分片处理请求，写入文档到索引库，并将数据同步到对应的副本分片（ replica sharding）。 4、等待主分片和 副分片都保存好文档后，返回客
elasticsearch的3个基本问题之读取数据
蒜蓉粉丝蒸扇贝的专栏
04-20 1657
如何从ES读取数据，包括两种方式，直接获取和通过搜索获取 1. 直接获取 GET index/type/ID的方式可以直接获取到某个index下的某个type的，文档ID是ID的doc。e.g. curl -XGET http://10.19.26.43:9200/nats-log-2016-04-20/logs/AVQvYyK6aK8LxcWQ324f and the r
Elasticsearch学习-ES中文档查询流程是怎样的？
weixin_45701550的博客
06-19 2410
在ES中查询分为两类：1.基于文档ID查询，2.按照非文档ID查询。当执行如下查询时： ES在执行上述查询的具体过程如下：1、客户端向 Node 1 发送获取请求，此时Node1为协调者节点。2、协调者节点使用文档的 _id 来确定文档属于分片 0 。分片 0 的副本分片存在于所有的三个节点上。 在这种情况下，它将请求转发到 Node 2 。3、Node 2 将文档返回给 Node 1 ，然后将文档返回给客户端。在处理读取请求时，协调结点在每次请求的时候都会通过轮询所有的副本分片来达到负载均衡。在文档被检索
数据在Elasticsearch的完整读写流程，掌握到这个程度面试以及生产环境差不多就够用了
microGP的专栏
07-22 1754
前言 看到标题以后大家有些人可能感觉有点小题大做，毕竟cilent端几行代码就能解决的问题，没必要兴师动众的来仔细讲一下。其实如果你仅仅想使用一下elasticsearch的功能，并不追求性能以及高可用性，那么这么想无可厚非。 但是如果想在生产环境下使用elasticsearch，尤其是高并发高吞吐量的场景下，那么性能优化和高可用性就不可或缺了，要做到上面两点那么数据读写这两个操作的优化是必不可少的。古语有云：“工欲善其事，必先利其器”。想优化这两个操作，必须先了解这两个操作的原理。 曾经有一个大神说
Elasticsearch工作原理整理——学习笔记
shixiaoling123的博客
12-06 993
1. ES的并发处理2. 请求是如何路由到分片的2.1 主分片与副本分片的交互2.2 新建、索引和删除文档2.3 检索文档2.4 更新文档2.5 批量文档操作 这里主要记录一下es内部工作的原理，ES入门很简单，但想用好它我一直认为不是件简单的事情。本文的大部分内部是参考官方文档，内容如有错误欢迎指正； 内容持续更新中… 1. ES的并发处理 在做商品库存扣减时，难免会出现库存并的情况，比如： web-1对库存count的数据量做了修改之后，并没有办法告知web-2库存的真实情况，就导致了商品超卖的情况.
实现ElasticSearch与MySQL数据同步自动化
资源摘要信息:"ElasticSearch + Logstash 自动同步mysql数据" ElasticSearch是一个高度可扩展的开源全文搜索和分析引擎。它允许你快速、近实时地存储、搜索和分析大量数据。在互联网规模的实时搜索中，Elastic...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值