Elasticsearch节点磁盘空间耗尽

最新推荐文章于 2025-07-23 23:22:18 发布
最新推荐文章于 2025-07-23 23:22:18 发布
阅读量1.6w 收藏 3
点赞数 3
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/quicknet/article/details/65396282
本文描述了一个Elasticsearch集群中数据节点磁盘空间耗尽导致的严重后果，包括数据损坏和集群状态变为RED。日志显示，磁盘空间不足影响了segment merge操作和translog的完整性，可能导致数据丢失。根据社区讨论，手动删除.recovering文件可能是恢复的一种方法，但未实际验证。由于缺乏副本，当主节点出现问题时，没有备份可用。Elasticsearch依赖本地文件系统存储Lucene文件，因此磁盘空间管理至关重要，可通过cluster.routing.allocation.disk.watermark.low设置来控制。
       最近遇到了一个特殊的情况，我们所使用的一个Elasticsearch集群的数据节点磁盘空间耗尽(out of space)，啥事会发生呢？ 数据损坏，集群RED。下面是相关的日志信息，我将其中一些关键点日志信息重点小时。这里 ES-Data_IN_11是当时的Master节点，ES-Data_IN_12是出现的磁盘耗尽的数据节点，出事儿的index名字为raw_v3.2017_03_22，我们仍然使用的是Elasticsearch 1.7.2。

[2017-03-22 11:57:30,503][WARN ][index.merge.scheduler ] [ES-Data_IN_12] [raw_v3.2017_03_22][1] failed to merge

[2017-03-22 11:57:30,646][WARN ][index.engine ] [ES-Data_IN_12] [raw_v3.2017_03_22][1] failed engine [merge exception]

[2017-03-22 11:57:30,663][WARN ][indices.cluster ] [ES-Data_IN_12] [[raw_v3.2017_03_22][1]] marking and sending shard failed due to [engine failure, reason [merge exception]]

[2017-03-22 11:57:31,677][WARN ][cluster.action.shard ] [ES-Data_IN_11] [raw_v3.2017_03_22][1] received shard failed for [raw_v3.2017_03_22][1], node[h9d1tKJFRtmg1aG-VMkA4A], [P], s[STARTED], indexUUID [2Z-UtAr8Qx2h6Xe9BkxvAA], reason [shard failure [engine failure, reason [merge exception ]]<
最低0.47元/天 解锁文章

新学期VIP享超值加赠
quicknet
关注
Elasticsearch集群中节点磁盘空间不足如何处理？
maxcode
07-20 68
**摘要： Elasticsearch集群节点磁盘空间不足时，会触发水位线机制导致数据无法写入。常见原因包括磁盘使用率过高、索引未及时清理、数据量激增或分片分配不均衡。可通过以下方法处理： 释放空间：删除过期索引，清理临时文件； 临时调整水位线：提高阈值以应急； 扩展节点：添加新数据节点分担负载； 优化分片：重新分配分片或启用自动均衡； 检查ILM策略：确保旧索引按时删除。需结合监控与日志排查具体原因，优先通过清理数据或扩容解决根本问题。
清理Elasticsearch占用的内存和磁盘空间
laolitou_1024的博客
03-22 4799
ELK中的Kibana连不上Elasticsearch了，提示Cannot connect to the Elasticsearch cluster，检查发现OutOfMemoryError，通过删除历史索引，达到清理Elasticsearch占用的内存和磁盘空间的目的
Elasticsearch 详解
最新发布
weixin_47242663的博客
07-23 644
Elasticsearch是一个开源的分布式搜索和分析引擎，基于Lucene构建，提供全文搜索、结构化搜索和分析功能。摘要要点： 核心特点：分布式架构、近实时搜索、高可用性、丰富的查询DSL、水平扩展和多租户支持 核心概念： 索引(类比数据库) 文档(JSON格式的基本单位) 分片机制(主分片和副本分片) 架构组成：包含主节点、数据节点、协调节点等不同角色节点 主要功能： 索引管理(创建/删除/别名) 文档CRUD操作 强大的搜索功能(基本搜索、全文搜索、复合查询) 聚合分析能力 部署方式：支持单机、集群和
Elasticsearch index read-only 问题解决办法（ES磁盘满或满扩容之后处理）
qq_24078621的博客
09-27 3534
背景：同事同步商品的es时，总是报index read-only。如下图。 然后各种排查，先看了一下es的数据节点磁盘已经满了。大部分都是日志数据。先删除日志数据。然后还是报这种错。 原因：当存储空间使用超过95%时，elasticsearch会将索引设置为只读模式，所以新产生的日志不能入库，也不能清除。因为商品和日志都是用的同一个es,导致同步商品也有问题。 解决：curl -XPUT -H “Content-Type: application/json” http://${ip}:9200/.
elasticsearch7.15节点磁盘空间满了迁移数据到新磁盘
TanYYF的专栏
04-21 572
在 Elasticsearch 中设置某个节点临时不可用（例如进行维护或升级），可以通过以下步骤安全地操作，避免数据丢失或集群状态异常。主节点（Master Node）：如果目标节点是主节点，确保集群中还有其他可用主节点。强制停机风险：直接关闭节点而不迁移分片可能导致集群变黄/红（部分数据不可用）。执行后，Elasticsearch 会开始将此节点上的分片迁移到其他节点。说明：禁用分片自动分配，避免节点下线时触发数据迁移。说明：恢复分片自动分配，允许集群重新平衡数据。5.维护完成后恢复节点。
Elasticsearch磁盘空间爆满及 java_pid*.hprof 处理
一个标题
02-28 4131
Elasticsearch磁盘空间爆满及 java_pid*.hprof 处理
【ElasticSearch】6.7.1版本磁盘满了无法写入数据
gong_yangyang的博客
12-15 636
由于服务器磁盘达到95%，导致索引不可写；
深入解读 Elasticsearch 磁盘水位设置
醉鱼的博客
03-10 2112
到了这，还记得我们的问题吗，就是说 Elasticsearch 是怎么判定的磁盘超出设定的阈值的呢？左右，所以按照 Elasticsearch 的设定，ES 中分片应该是无法分配的。，可以看到，当前类中出现了两次，根据日志打印的其他信息不难发现，对于此处就是。是的你没猜错，通过这个位置你就可以知道是哪个方法调用的这，我们点一下。阈值时，对于新创建的索引主分片不影响，副本分片受影响；判断，相信就是这了，我的感觉来了，没想到这个找起来这么简单。行方法的开头打一个断点，重启之后，进入断点之后的值如下。
【Elasticsearch 的内存和硬盘使用情况查询】
weixin_46356409的博客
08-13 3874
通过这些方法和工具，你可以有效地监控和管理 Elasticsearch 的内存和硬盘使用情况，确保其稳定运行。
当磁盘使用率达到此阈值时，Elasticsearch会将节点标记为不可分配，并尝试将所有分片从该节点移动到其他节点,节点上的分片设置为只读索引。默认值为95%，同样可以根据需要进行调整。防止磁盘空间耗尽最后的手段。当磁盘低于 high 水位时，索引块自动释放。
03-20
这一步骤仅移除只读标志并不解决根本原因——即实际可用空间不足的问题所以建议采取措施增加物理硬盘大小或是删除不必要的旧日志文件释放更多地方给 ES 使用[^2][^3]。 ### 总结 合理规划和监控各节点的磁盘利用率...
【ELASTICSEARCH】ElasticSearch 磁盘满解决方案
Zsigner的博客
09-07 7079
详情： 查看es 状态命令： 通常用用_catAPI检测集群是否健康。 确保9200端口号可用: 　　curl 'localhost:9200/_cat/health?v' 　　绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. 2.通过如下语句，我们可以获取集群的节点列表： 　　curl 'localhost:92...
elasticsearch磁盘空间满了故障处理思路
热门推荐
蘑菇丁的专栏
03-24 2万+
昨天接到客户投诉说ES数据目录已达到100%了，当时第一想法监控组怎么监控的80%报警为什么没有监控出啦，经问，监测组是几天前接到报警，并忽略了，我当时那个崩溃，并有想骂人的冲动，这是现网，不是测试时环境，竟然有这么不负责的同事我也是醉的，我登录服务器一看磁盘空间最糟的100%，另几个99%，刚搭建两个月的集群出现空间不足，当时说没有这么大的数据量，我自己给自己挖了一个大坑，把数据存在一个磁盘上。
Elasticsearch 存储打满导致无法登录问题排查与解决
qq_34766833的博客
05-23 733
Elasticsearch 鉴权依赖.security索引写入能力磁盘使用达高水位线时，集群会对所有索引加只读限制，导致鉴权失效处理思路：扩容磁盘 → 解除只读限制 → 新增/修改用户 → 清理数据建议定期监控磁盘使用和索引状态，及时预警和扩容，确保鉴权服务正常运转。
elasticsearch磁盘超过80%后出现数据写不进去的问题
Subbe的博客
04-18 3493
1、原因：硬盘将近写满后，索引变为 read_only_allow_delete=true 只读状态，防止日志再写入。 2、解决： 清理磁盘，使占用低于80%。 扩大磁盘容量 3、需要手动修改索引状态 PUT _settings { "index": { "blocks": { "read_only_allow_delete": "false" } } } 也可使用postman等工具调用 ...
Elasticsearch 磁盘使用情况
我只是个小学生 能力有限 一直抱着学习的态度
11-13 2017
curl -XGET “http://localhost:9200/_cat/shards?v” curl -XGET localhost:9200/_cat/allocation?v
ElasticSearch实例磁盘占用率高 排查及解决方案
sinat_36258805的博客
10-25 1281
使用命令：curl -X PUT http://{ip}:9200/{index}/_settings --header ‘Content-Type: application/json’ -d ‘{“index”:{“number_of_replicas”:0}}’
ElasticSearch-磁盘空间不够引起的问题
mnasd的博客
01-25 3256
es 6.2.4版本 logstash跑了一阵子之后不再同步数据了,日志信息如下： [2019-06-19T10:30:28,379][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only /
ElasticSearch无法启动报设备上没有空间
ZRHZRHH的博客
02-22 1592
项目上ES无法启动，Linux系统，原因：ES所在存储空间已满 排查：使用 df -h 定位系统资源，将无用资源删除，释放资源。
Linux下安装Elasticsearch
lljddddd的博客
11-15 1013
Linux安装单机版Elasticsearch
elasticsearch节点在线为什么没用分片
12-27
最后还有一种较为少见的情况就是磁盘空间不足、文件描述符耗尽等问题也会阻止新的分片分配给当前节点，尽管它看起来是在正常工作的状态下[^1]。 #### 解决方案 针对以上提到的各种原因，可以采取如下措施： 对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值