ES系列：根据机器性能，分离写入查询节点方案

原创 已于 2022-04-09 11:02:51 修改 · 2.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ES

于 2022-04-09 10:50:16 首次发布
本文介绍了如何根据机器性能，动态调整Elasticsearch（ES）集群中写入和查询节点的策略。通过设置node.attr属性和index.routing.allocation属性，可以确保索引被分配到指定性能的节点上，实现数据迁移。该方案适用于ES7.9及以下版本，高于此版本的ES已内置索引生命周期管理。

目录

目标

关键方法

动态设置

举例

第一步，标签设置

效果验证

第二步，索引设置 

效果验证

数据迁移

启动时指定

目标

机器性能较强的节点：用来做 indexing建立索引 

机器性能较强的节点：用来做搜索用途 

关键方法

Shard filtering：把我们指定的index放入到我们指定的node里

elasticsearch.yml配置：

  • 利用node.attr属性：指定我们 node 属性为：hot 或是 warm或其他任何标签
  • 利用 index.routing.allocation属性：在index的settings里通过来指定索引（index) 到一个满足标签filter要求的node

动态设置

index.routing.allocation.include.{attr}，至少是其中的一个值
index.routing.allocation.exclude.{attr

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Elasticsearch的写入性能优化
chunzhi128的博客
06-04 858
Elasticsearch写入性能优化关键策略包括：合理设置分片数和副本数（写入期间可临时禁用副本）；增大刷新间隔至30秒；使用Bulk API批量写入；优化硬件配置（SSD存储，JVM堆内存不超过物理内存50%）；调整操作系统参数（增大文件描述符限制）；控制段合并策略与线程数。建议采用冷热数据分离、预分配索引等高级策略，并通过监控工具持续跟踪性能指标。实际应用中需结合业务场景分阶段调整参数，完成写入后恢复副本和刷新间隔等配置。
【后端高阶面经：Elasticsearch篇】39、Elasticsearch 查询性能优化：分页、冷热分离与 JVM 调优
专注AI工程化与架构实战。从分布式思维到模型部署，用工程化视角为你厘清AI落地的真实路径。
05-26 438
本文总结了Elasticsearch性能优化的六大核心策略：1）索引设计优化，包括分片配置与字段类型精准匹配；2）查询语句优化，如使用Filter上下文和Search After分页；3）硬件调优，推荐JVM堆内存不超过物理内存50%；4）多级缓存体系构建，包含节点缓存与预热机制；5）写入优化策略，建议批量写入和调整refresh间隔；6）冷热数据分离存储。通过分片计算模型、深度分页对比等具体方案，可显著提升ES集群性能，适用于高并发搜索与分析场景。
Elasticsearch5.5冷热数据读写分离
划水的银开的博客
11-29 1671
本文转载于：https://elasticsearch.cn/article/6127，请支持原文作者 Elasticsearch5.5冷热数据读写分离 前言 冷数据索引：查询频率低，基本无写入，一般为当天或最近2天以前的数据索引 热数据索引：查询频率高，写入压力大，一般为当天数据索引 当前系统日志每日写入量约为6T左右，日志数据供全线业务系统查询使用。 查询问题： 高峰时段写入及查询频率都较...
Elasticsearch7.17 五 :ES读写原理、分片设计和性能优化
admin522043032的博客
06-23 4117
单个分片 7.0开始，新创建一个索引时，默认只有一个主分片。单个分片，查询算分，聚合不准的问题都可以得以避免 单个索引，单个分片时候，集群无法实现水平扩展。即使增加新的节点，无法实现水平扩展 两个分片 集群增加一个节点后，Elasticsearch 会自动进行分片的移动，也叫 Shard Rebalancing 如何设计分片数 当分片数>节点数时，一旦集群中有新的数据节点加入，分片就可以自动进行分配，分片在重新分配时，系统不会有downtime 多分片的好处: 一个索引如果分布在不同的节点，多个节点可以并
ElasticSearch学习笔记-第四章 ES分片原理以及读写流程详解
weixin_42584100的博客
07-24 4167
ES集群、ES分片原理、ES读流程详解、ES写流程详解
【elasticsearch】elasticsearch es读写原理
Mrerlou的博客
02-20 3790
今天来学习下 es 的写入原理。
ES 性能调优，这可能是全网最详细的 Elasticsearch 性能调优指南
热门推荐
Elastic开源社区
04-11 3万+
Elasticsearch 读写性能调优 ES 架构和Mapping优化
ES性能调优：写入与查询加速
weixin_43932886的博客
05-18 852
Elasticsearch(ES)的性能调优是保障大规模数据场景下高效运行的关键。无论是日志采集、实时监控还是电商搜索，不当的配置可能导致写入阻塞、查询延迟甚至集群崩溃。本文将从分片设计、刷新策略、冷热架构到JVM优化，全方位解析写入与查询性能的核心优化手段，结合实战案例与性能对比数据，构建高吞吐、低延迟的ES系统。ES性能调优需结合数据规模、硬件资源与业务场景综合决策。通过分片设计、冷热分离、批量写入等核心策略，可显著提升吞吐量与稳定性。
【搜索引擎优化】Elasticsearch高并发场景下写入与查询性能调优：分布式搜索稳定性提升实战
最新发布
11-01
内容概要：本文围绕Elasticsearch在高并发场景下的性能优化展开，重点讲解写入性能提升、高并发查询稳定性保障以及JVM与操作系统层级的调优策略。通过电商大促、社交热点、物联网监控等实际业务场景，结合Java批量...
ElasticSearch集群架构及底层原理
zxc_user的博客
01-14 2640
elasticsearch集群架构和底层原理
重学Elasticsearch第9章 : ES集群概念、节点故障恢复问题、路由计算、协调节点、写流程/读流程/更新流程、倒排索引
Guizy
08-10 3776
ES集群概念、节点故障恢复问题、路由计算、协调节点、倒排索引
ES集群读写分离
joez的专栏
08-12 5223
根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理并测试修改后实现 本项目按照该原理实现读写分离写的数据如果需要实时被读取，实际上不可能实现完全的读写分离的。 分区读写分离方法：假设 集群有8个节点，node1，node2，node3，node4 为热区,设置为hot，node5,node6,node7,node8 为冷区，设置为stable.
Elasticsearch学习之ES节点类型以及各种节点的分工
weixin_30417487的博客
09-06 509
ES各种节点的分工 1. 客户端节点 　　当主节点和数据节点配置都设置为false的时候，该节点只能处理路由请求，处理搜索，分发索引操作等，从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群的状态可以直接路由请求。 2. 数据节点 　　数据节点主要是存储索引数据的节点，主要对文...
es集群节点数和分片数关系_ElasticSeaerch（弹性搜索数据库）中集群、节点、副本和分片的区别...
weixin_35886058的博客
12-23 3866
简单总结下：1、集群cluster：集群顾名思义就是多个相同集群名称的es节点组合在一起。相当于一个集群就是一个班级，班级下面的学生就是节点。如果只有一个节点在运行就称为单节点。2、节点node：我们可以简单的理解为一个es运行实例就是一个节点。当你启动一个es的时候，就运行了一个节点。备注：其实在实际生产服务器环境部署中，一台服务器只会部署一个es。因为es特别耗cpu和内存，所以多个节点的部署...
ES索引写入性能优化
Jimmy的专栏
08-22 2万+
1、用bulk批量写入 你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单个es node的单个shard做压测。先bulk写入100个doc
es写入和检索优化思路记录
sun_csdn_id的博客
10-12 2398
对es的整体技术架构和优化策略做简单探讨。
elasticsearch 指定节点存放
jie159的专栏
10-24 2252
修改 elasticsearch.yml node.attr.box_type: "type" # type为该node类型 自定义 通过Kibana 配置index属性 # test-*索引命名的, 都将其数据放到 type 节点上 PUT _template/test { "index_patterns": "test-*", "settings": { ...
ES指定分片移动到指定的节点
习惯了想你的博客
07-10 2221
POST /_cluster/reroute { "commands" : [ { "move" : { "index" : "索引名", "shard" : 4, "from_node" : "节点名", "to_node" : "节点名" } } ] } ...
让Elasticsearch集群冷热分离、读写分离
很多时候，你缺少的不是知识而是热情
01-13 2万+
根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理的。一、冷热分离 按《控制Elasticsearch分片和副本的分配》来设置，将hot,stale数据分到不同的集群上去 hot集群只保留最近一天或两天数据 写一个定时任务每天凌晨将前一天的索引标记为stalePUT /index_name/_settings { "index.routing
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值