技本功丨来~与你讲一段ES节点扩容、数据迁移的故事……

最新推荐文章于 2025-11-12 17:30:00 发布
原创 最新推荐文章于 2025-11-12 17:30:00 发布 · 998 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文讲述了如何进行Elasticsearch（ES）集群的节点扩容和数据迁移。首先介绍了现有节点信息，接着提出了详细的扩容思路，包括分离master节点、设置节点标签、调整索引分配等。在实践步骤中，详细描述了从关闭不必要的索引到迁移数据的过程，最后强调了ElasticSearch运维的重要性，提供学习资源以深入理解其开发和优化策略。

运维攻城狮

作为最优（ku）秀（bi）的职业

若是没有些方法技巧

那是极可能需要牺牲些个人时间

对此，本萌我

不能视而不见，见而不救啊！

 

比如，ES集群里的数据越来越大，

日增500G日志数据，

日志数量太多怎么办？

来来来，掌声有请

帮你做一波扩容，让你走上人生巅峰！

 

01节点信息

目前集群中的节点信息如下：

最低0.47元/天 解锁文章
分库分表 & 数据迁移方案
08-08 657
不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。 1、IO瓶颈 第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表 。 第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分库 。 2、CPU瓶颈 第一种：SQL问题，如SQL中包含join，group by，order by，非索引字段条件查询等，增加CPU运算的操作 -> SQL优化，建立合适的索引
【elasticsearch】数据节点扩容
weixin_43346403的博客
06-27 723
es默认启动后，自动开启自动数据平衡功能。我原本打算，扩容后开启自动平衡。没想到重启集群后数据自动平衡了。少了步骤数据平衡到新加的数据节点。1.app应用程序包准备。2.修改ES启动配置文件。
Elasticsearch - 水平扩展 Elasticsearch 集群 新增节点步骤
最新发布
千淘万漉虽辛苦，吹尽狂沙始到金
11-12 1万+
本文详细介绍了如何水平扩展Elasticsearch集群，通过新增节点来提升系统性能与可用性。内容涵盖： 扩展前规划：确定节点角色（master/data/ingest等），评估当前集群状态，计算资源需求 新节点准备：安装匹配版本的ES，配置关键参数（集群名称、节点角色、发现设置等），优化系统参数 加入集群：启动节点并验证加入状态，检查集群健康状况 分片平衡：监控自动重平衡过程，必要时手动控制迁移速度 文章提供了详细的配置示例、最佳实践和操作命令，帮助开发者安全高效地扩展ES集群。适用于需要提升系统吞吐量、
ElasticSearch单节点扩展集群
reol_fan的博客
03-05 5902
目录 现况 目标 思路 环境准备 操作列表 效果验证 操作过程 步骤1新建一个主节点(169)，将原ES data目录拷贝到新节点中，启动验证是否正常。 步骤2新增4个数据节点(170,171,172,173)，设置启动3个节点后同步数据。 步骤3启动数据节点，加入es单节点，等待自动同步数据。 步骤4动态新增2个主节点(151,168)。 步骤5整体停机，更改数据节点配置，设置为3个主节点。 步骤6确认主节点加入后，关停原始主节点(169)。 步骤7设置主节点数据...
集成的故事 - 动态数据迁移
lifegame的专栏
05-28 2265
Procedure Code是个有趣的东西，医院使用它的方式好像能在一定程度上反映出这个医院信息系统集成的水平。在独立运行的设备上，技师在拍摄前选择一下拍摄部位和体位，可能只是为了在输出图象的DICOM头里面包含这些信息，以便在胶片上打印出来。尽管很多设备还是会把输入的部位和体位信息编码成Procedure Code来存储，但实际上这种转换没有起到什么作用。如果只是为了打印，可能只需要Proc
记一次ES节点扩容、数据迁移实践
weixin_34175509的博客
11-22 3521
记一次ES节点扩容、数据迁移实践 背景 之前ES集群里的数据越来越大，日增500G日志数据，需要做一波扩容。 节点信息 目前集群中的节点信息如下： 节点 CPU、MEM DISK 磁盘使用率 节点角色 es01 16C 32G 2*1T 71% mdi es02 16C 32G 2*1T 69% mdi es03 16C 32G 2*1...
ElasticSearch的shard迁移
codingapple
11-17 8242
本文分析介绍的Elasticsearch源码是它的0.90.3版本。本文主要介绍Elasticsearch中的shard迁移问题。        Elasticsearch集群中，数据的分布是根据路由表来进行的，可以参考之前的博文。然而，仅仅计算出路由表信息是不够的，还要根据路由表信息将索引建立起来（索引的建立过程，以后再分析）。当集群的所有shard对应的索引信息都建立起来后，Elastics
用户暴增致系统崩溃？7788扩容实战：水平扩展与垂直升级的5次抉择复盘
# 高可扩展系统的演进之路：从救火式扩容到主动防御 凌晨两点，警报声划破寂静。 监控面板上，QPS曲线像被拉满的弓弦一样陡然上扬——用户请求量在短短10分钟内暴增400%，数据库连接池瞬间耗尽，服务雪崩一触即发...
elasticsearch 运维记录
zxf_668899的博客
12-30 7614
目录 (elasticsearch 基础知识汇总) 索引分片 从策略层面控制分片分配的选择 move 指令 节点下线 冷热数据的读写分离 集群自动发现 API 接口 数据写入 数据读取 数据删除 数据更新 搜索请求 集群健康状态 level 请求参数 节点状态监控接口 GC垃圾回收索引分片： 从策略层面，控制分片分配的选择 磁盘限额 为了保护节点数据安全，ES 会定时(cluster.info.up
elasticsearch多磁盘扩容
prometheus的博客
10-11 6973
1、问题由于早前elasticsearch集群数据存储路径只配置了一个，所以某天磁盘突然爆满，集群差点当机。需重新配置多路径存储路径，因为在生产环境，得保证集群不死掉，只能一台一台配置重启。2、修改配置文件修改elasticsearch.yml中path.data属性，添加多路径以逗号分隔path.data : /opt/data1,/opt/data23、查看集群状态curl -XGET "htt
es 磁盘扩容
HouYing
09-05 1425
mkdir -p /data1/es/data mkdir -p /data2/es/data chown es:es /data1/es/data chown es:es /data2/es/data vi /opt/es/elasticsearch-6.8.0/config/elasticsearch.yml ,/data1/es/data,/data2/es/data ...
ES扩容、容灾理解
wangxin3618的博客
12-05 4477
扩容 副本分片可以动态的增加副本分片的数目，但是主分片不可以。 扩容本质上就是迁移分片至新的节点以达到扩容的目的。 如果有6个分片（3主3从），那么就可以扩容至6个节点。每个节点存放一个分片，并且每个分片拥有该节点的全部资源。 如果想要扩容超过6个节点怎么办？ 主分片的数目在创建索引的时候就已经确定。这个数目定义了这个索引能够存储的最大数据量。但是读操作可以被主分片和副本分片同时处...
ESX5上磁盘扩容
N
03-26 1730
分类： LINUX 在esx server上安装虚拟机时，由于只分配了默认的8GB磁盘空间。今天要在虚拟机RHEL5.2上安装Oracle RAC，空间不太够，所以在 虚拟机上把分配磁盘空间扩大的20GB。在esx server上扩容磁盘空间的方法很简单，在此不提，下面具体说说如何把该扩容的磁盘空间 在虚拟机上应用上去。 以下是未扩容前的状态： [root@localhost ~
es mysql磁盘空间_es 加磁盘扩容
weixin_39812065的博客
02-07 202
1、问题由于早前elasticsearch集群数据存储路径只配置了一个，所以某天磁盘突然爆满，集群差点当机。需重新配置多路径存储路径，因为在生产环境，得保证集群不死掉，只能一台一台配置重启。2、修改配置文件修改elasticsearch.yml中path.data属性，添加多路径以逗号分隔path.data : /opt/data1,/opt/data23、查看集群状态curl -XGET "ht...
ES系列：Elasticsearch index read-only 问题解决办法（ES磁盘满或满扩容之后处理）
NIO4444
06-18 6547
现象 ES 容器的 json.log 日志文件中不断有大量日志，主要是：[FORBIDDEN/12/indexread-only/ allow delete (api)] 原因 没有及时清理旧的索引数据，导致磁盘空间不足，进而触发了 ES 自身基于磁盘的分片策略。索引中read_only_allow_delete 值为 true ，需要将其设置为 false 来解除索引只读限制。 PUT _settings { "index":{ "blocks":{...
es扩容内存盘方案，启动报错排查
cunyu__的博客
06-20 537
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 解决方法：修改文件/etc/security/limits.conf 添加 添加完成，断开ssh连接，重新连接。或者推迟用户，重新登录。[2]: memory locking requested for elasticsearch process but memory is not locked 执行以下命令：
Elasticsearch 7.X 集群分片 及 水平扩容 讲解
小毕超博客
12-30 7892
一、ES 中的分片 上篇文章我们讲解了ES 7.X 的集群环境搭建，本篇主要讲解下ES的分片和扩容。 上篇文章地址：https://blog.youkuaiyun.com/qq_43692950/article/details/122244793 一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，每一份就称
MySQL分库分表核心策略与实现技术详解
- **哈希取模法**：对分片键进行哈希运算后对分片数量取模，简单高效，但扩容时需重新计算，迁移成本高； - **范围分片**：按数值区间划分，如按注册时间分月建表，适合范围查询，但易产生热点； - **一致性哈希**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值