【Elasticsearch索引恢复流程（下）】

最新推荐文章于 2025-06-23 20:42:25 发布
最新推荐文章于 2025-06-23 20:42:25 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Elasticsearch 文章标签： ES 索引恢复
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42257250/article/details/90740300
本文围绕ES 6.7展开，介绍主分片节点处理流程、保证主副分片一致的方法，分析恢复流程慢的原因，阐述Recovery速度调优策略，如减少数据拷贝和复制等，还提及Recovery相关监控命令，以减小资源消耗、加快集群恢复。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文基于ES 6.7介绍主分片节点的处理流程，如何保证主副分片一致，恢复流程慢的可能原因，Recovery速度调优以及Recovery相关监控命令等知识。

主分片节点的处理流程

保证主副分片一致

恢复流程慢的可能原因

Recovery速度调优
Recovery过程要消耗额外的资源，CPU、内存、结点之间的网络带宽等等。 这些额外的资源消耗，有可能会导致集群的服务能力降级，或者一部分功能暂时不可用。了解一些Recovery的过程和相关的配置参数，对于减小Recovery带来的资源消耗，加快集群恢复过程都是很有帮助的。

  1. 减少集群Full Restart造成的数据来回拷贝
  2. 减少主副本之间的数据复制
  3. 热索引为何恢复慢
  4. 参考其他Recovery相关的专家级设置

Recovery相关监控命令

Reference
《ElasticSearch源码解析与优化实战》
https://www.elastic.co/guide/en/elasticsearch/reference/6.7/recovery.html
https://stackoverflow.com/questions/42923775/how-to-speed-up-elasticsearch-recovery
谈谈ES 的Recovery

Elasticsearch索引恢复流程：大数据环境下的实践
BugCrusher的博客
09-18 515
本文将介绍Elasticsearch索引恢复的流程，并提供相应的源代码示例。接下来，可以使用Elasticsearch的恢复API来执行索引恢复操作。在恢复索引之前，通常需要先关闭索引。关闭索引可以防止对索引的写入操作，从而保证数据的一致性。在索引恢复完成后，需要重新打开索引，以允许对索引进行读写操作。在开始恢复索引之前，首先需要检查索引的状态。通过上述代码，我们可以获取到索引的状态信息，包括分片、副本以及其他相关信息。请注意，恢复索引可能需要一些时间，具体时间取决于索引的大小和硬件性能。
【Elasticsearch】Elasticsearch启动索引恢复流程
九师兄
02-27 1314
文章目录1.概述2.恢复流程2.1 重启后何触发恢复？Soft-delete租约主分片恢复副本恢复 1.概述 转载：Elasticsearch启动索引恢复流程 2.恢复流程 2.1 重启后何触发恢复？ 重启后的恢复是在GatewayService中触发的，需要满足如下条件： gateway.expected_nodes gateway.expected_data_nodes gateway.expected_master_nodes gateway.recover_after_time 在满足上述条件后
Elasticsearch原理分析——索引恢复流程分析
dwjf321的博客
06-10 877
Elasticsearch原理分析 索引恢复流程分析 索引恢复配置
elasticsearch 故障恢复的参考 —— 筑梦之路
筑梦之路
04-28 2295
elastisearch 集群索引状态为red，数据上T大小，单个索引好几百个G，集群重启耗时过长，无法恢复正常状态。这一步目的：找到需要删除、业务层面彻底放弃的索引直接物理删除文件，为重启集群会减少恢复压力。2. 避免大索引，比如上百G的索引，把ILM用起来，历史数据该清理的清理、该冷的冷处理方为王道。提速的核心：删除历史“包袱”（将来不再需要的大索引），以间接使得集群恢复加速。如下的验证，仅在单节点集群验证 ok，多节点原理一致。返回有关分片恢复的信息，包括正在进行的和已完成的。
阿里云Elasticsearch生产环境误删数据恢复指南
最新发布
Ven%的博客
06-23 816
本文记录了一次生产环境中误删Elasticsearch索引数据的完整恢复过程，通过阿里云自动快照功能实现数据拯救，适用于所有使用阿里云ES服务的用户。：某金融系统曾因误删未及时恢复，导致8小时数据丢失。经测试，500GB索引恢复耗时约25分钟，恢复速度取决于集群规格和快照大小。通过阿里云的自动快照功能，我们成功实现了数据的零成本恢复。但真正的救星不是技术，而是。建议每季度执行一次恢复演练，确保灾难来临时能从容应对。某次维护操作中，开发人员。，但保留索引结构和映射。
ElasticSearch常见的索引_集群的备份与恢复方案
whereabouts_的博客
12-08 1507
方案一：使用Elasticsearch的快照和恢复功能进行备份和恢复。该方案适用于集群整体备份与迁移，包括全量、增量备份和恢复。方案二：通过reindex操作在集群内或跨集群同步数据。该方案适用于相同集群但不同索引层面的迁移，或者跨集群的索引迁移。缺点是跨集群迁移时需要在elasticsearch.yml中添加目标集群IP白名单。方案三：使用elasticdump来迁移映射和数据。该方案适用于仅对索引层面进行数据或映射的迁移，支持analyzer/mapping/data等操作。
TCL？视图？索引？数据库备份和恢复
专注编程和人工智能！
07-06 360
#TCL/*Transaction Control Language 事务控制语言事务：一个或一组sql语句组成一个执行单元，这个执行单元要么全部执行，要么全部不执行。 事务由单独单元的一个或多个SQL语句组成，在这个单元中，每个MySQL语句是相互依赖的。而整个单独单元作为一个不可分割的整体，如果单元中某条SQL语句一旦执行失败或产生错误，整个单元将会回滚。所有受到影响的数据将返回到事物开始以前...
ES--重启失败的解决方案
IT利刃出鞘的博客
12-07 1276
本文介绍ES重启失败的解决方法。
【Elasticsearch索引恢复流程（上）】
热门推荐
来啦，老弟~
05-29 4万+
Reference
Elasticsearch索引恢复
09-11
在Elasticsearch中，索引恢复是一个关键的过程，它涉及到索引数据在集群节点间的重新分布或者从备份中恢复数据。本文将深入探讨Elasticsearch索引恢复的原理、原因及步骤。 一、索引恢复的原因 1. 节点故障：当...
ES索引恢复流程解析
qq_27639777的博客
04-29 3200
文章目录背景主分片恢复流程INIT阶段INDEX阶段VERIFY_INDEX阶段TRANSLOG阶段FINALIZE阶段DONE阶段副分片恢复流程流程概述副分片节点处理过程INIT阶段INDEX阶段VERIFY_INDEX阶段TRANSLOG阶段FINALIZE阶段DONE阶段主分片节点处理过程phase1phase2 背景 索引恢复是ES数据恢复过程。待恢复的数据是客户端写入成功，但未执行刷盘（flush）的Lucene分段。根据数据分片性质，索引恢复过程可分为主分片恢复流程和副分片恢复流程。 主分片从
十二.Elasticsearch为什么重启的时候速度那么慢？
笔生花的博客
07-25 4994
可能很多人都遇见过，es集群重启之后，有很多的副本分片处于未分配状态，你并且很可能要等很长时间才能恢复，恢复时间和数据量大小有关，半个小时，几个小时甚至一天不等。 下面来介绍一下原因。 集群完全重启的时候，所有的分片都是未分配状态，这是因为要检测重启之后机器是否存在问题，比如说磁盘网络是不是有问题，因此集群之前存储的所有分片的元数据信息都不可用了，（元信息包括：每个节点存储的分片所在位置...
记录Elasticsearch 分片恢复问题
csdn_chshuai的博客
04-14 3719
问题描述： ES在重启只有健康状态变为黄色，有几个分片未分配成功 查看原因：是因为集群恢复导致的 常见的几种未分配原因如下： ALLOCATION_FAILED：由于分片分配失败而未分配。 CLUSTER_RECOVERED：由于集群恢复而未分配。 DANGLING_INDEX_IMPORTED：由于导入了悬空索引导致未分配。 EXISTING_INDEX_RESTORED：由于恢复为已关闭的索引导致未分配。 INDEX_CREATED：由于API创建索引而未分配。 INDEX_REOPENED：由于打
ES生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数
06-15 1003
shard recovery配置以及集群重启时的无意义shard重分配问题 在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primary shard或者replica shard，你有一个index，有5个primary shard，每个primary shard有一个replica shard。如果我们将整个集群关闭了进行一些维护性的操作，比如给机器安装新的磁盘之类.
es集群快速恢复（优化方案）
ClearloveXXX的博客
12-12 5566
1、停止数据写入     2、关闭allocate，禁止shard做allocate   curl -XPUT localhost:9200/_cluster/settings -d '{                   "persistent" : {                       "cluster.routing.allocation.enable" : "...
【es】如何防止短时间的重启节点导致分片的恢复
weixin_43346403的博客
03-26 98
1.如何防止短时间内重启导致的集群分片恢复。改变网关中分片恢复的条件。
6、Elasticsearch优化
爱欧米
03-09 743
预处理节点，主要是对数据进行预处理，比如对字段重命名，分解字段内容，增加字段等，类似于Logstash， 就是对数据进行预处理，ingest里面可以定义pipeline（管道），pipeline可以由很多个processor（官方预定义28个）构成，用来出来预处理数据，使用方式：先定义好预处理pipeline，然后在存储数据的时候指定pipeline，如：成为ingest node的方式 node.ingest:true 默认（true）当写索引时，需要把写入的数据都同步到副本节点，
18.Elasticsearch生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数
lm324114的专栏
03-05 393
shard recovery配置以及集群重启时的无意义shard重分配问题 在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primary shard或者replica shard，你有一个index，有5个primary shard，每个primary sha...
es集群全停全起后集群red无法恢复，出现elasticsearch unassigned错误
一只小白
12-29 1661
问题描述：elasticsearch 重启后出现了elasticsearch Unassigned 异常，这个问题是因为数据分辨一场，那么需要重启这个数据分片。 解决方案如下： #es强制分配索引分片 1、先获取有问题的索引分片， UNASSIGNED get _cat/shards/test_index 2、查看有问题的索引分片，查到还未分配的节点。 GET _cluster/allocation/explain { "index": "test_index", "shard": 0,..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值