elasticsearch磁盘水位线配置

深入解读 Elasticsearch 磁盘水位设置 到了这,还记得我们的问题吗,就是说 Elasticsearch 是怎么判定的磁盘超出设定的阈值的呢?左右,所以按照 Elasticsearch 的设定,ES 中分片应该是无法分配的。,可以看到,当前类中出现了两次,根据日志打印的其他信息不难发现,对于此处就是。是的你没猜错,通过这个位置你就可以知道是哪个方法调用的这,我们点一下。阈值时,对于新创建的索引主分片不影响,副本分片受影响;判断,相信就是这了,我的感觉来了,没想到这个找起来这么简单。行方法的开头打一个断点,重启之后,进入断点之后的值如下。 阅读详情

背景

最近线上的虚机资源纳入了监管,机器的性能数据会被监控,cpu、内存、磁盘的使用情况都被会监控,达到阈值会触发告警。

监控是把双刃剑,好在有问题能及时预警发现处理。不方便是操作受到监管,操作不便,徒增工作量。

进入正题:es数据盘索引数据不做定期清理导致磁盘利用率达到90%,会触发告警。磁盘利用达到90%后es也不给索引分片了,磁盘利用率维持在90%不变。那么怎样可以将es磁盘高水位线调低,不触发90%的告警呢?

配置

es官方配置:

// 达到低水位线节点不再分配新的副本,默认85%
cluster.routing.allocation.disk.watermark.low: 84%
// 达到高水位先节点将自平衡数据到其他节点,默认90%
cluster.routing.allocation.disk.watermark.high: 86%
// 达到洪水水位索引将只变成可读,默认95%
cluster.routing.allocation.disk.watermark.flood_stage: 88%

以上配置也可以配置具体存储容量,即:500mb。
如上是集群配置,那么如果是单节点想配置呢,官方文档给出了说明:

cluster.routing.allocation.disk.watermark.enable_for_single_data_node: true

如果是单一数据节点,以上配置设置为true后水位线配置也会生效!

当然究极解决办法是做索引管理。es官方有个索引管理工具elasticsearch-curator,可配置规则删除符合规则的索引,配合定时任务可做索引的定时清理!

官方文档

  • 磁盘水位线配置:https://www.elastic.co/guide/en/elasticsearch/reference/7.17/modules-cluster.html#disk-based-shard-allocation
ES节点磁盘水位线cluster.routing.allocation.disk.watermark es磁盘水位线 阅读详情

相关推荐

从一次线上事故复盘:ES分片无法分配的7个隐蔽陷阱与防御策略

本文深入分析了一次Elasticsearch线上事故中分片无法分配的7个隐蔽陷阱,包括跨版本分片分配静默失败、磁盘水位线设置不当、延迟分配风险等。通过真实案例复盘,提供了详细的排查流程和防御策略,帮助运维人员有效预防和解决unassigned shards问题,确保集群稳定运行。

weixin_28725407的博客 373

Elasticsearch 磁盘使用率超过警戒水位线,怎么办?

1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第一篇,主要探讨:Elasticsearch 磁盘使用率超过警戒水位线,怎么办?2、从磁盘常...

铭毅天下Elasticsearch 1万+

Elasticsearch shard磁盘水位线详解

先回顾几个概念:ES的Index是个逻辑概念,实际由若干shard组成,而shard就是Lucene的Index,即真正存储数据的实体。当有数据需要存储的时候,就需要先分配shard。具体来说需要分配shard的场景包括:数据恢复,主分片(primary)、副本分片的分配,再平衡(rebalancing),节点的新增、删除。对于分布式存储系统来说,数据的分布非常重要,ES shard的分配工作由ES的master节点负责。

yonggeit的博客 4143

ES--解决磁盘使用率超过警戒水位线

本文介绍如何解决ES磁盘使用率超过警戒水位线的问题。

IT利刃出鞘的博客 4221

基于Ventoy制作单个U盘引导Windows+Linux+黑苹果macOS

一款国内高手开发的一个名为Ventoy的开源多系统启动U盘制作工具,官方链接:https://www.ventoy.net/cn/index.html Ventoy 特点 不影响U盘日常普通使用 直接从ISO文件启动,无需解开 支持MBR和GPT分区格式(1.0.15+) 支持超过4GB的ISO文件 支持大部分常见操作系统, 已测试650+ 个ISO文件 不仅仅是启动,而是完整的安装过程 版本升级时数据不会丢失 Ventoy 待改进 不支持macOS和ChromeOS 准备2个空的U.

wybarcelona的博客 3万+

CTF逆向实战:如何快速识别RC4、TEA和Base64的魔改变种?

本文针对CTF逆向比赛中常见的加密算法魔改问题,详细讲解了如何快速识别和破解RC4、TEA和Base64的变种。通过分析算法核心特征、常见魔改手法,并结合动态调试与脚本编写等实战技巧,帮助逆向分析人员有效应对算法混淆,提升解题效率。

agile9scrum的博客 781

Elasticsearch中磁盘水位线的深度解析

❃博主首页 : 「码到三十五」 ,同名公众号 :「码到三十五」♝博主的话 : 搬的每块砖,皆为峰峦之基;公众号搜索「码到三十五」关注这个爱发技术干货的coder,一起筑基 Elasticsearch是一个分布式、高可扩展的搜索引擎,它允许用户将大量数据存储在集群中,并通过高效的查询引擎进行检索。然而,随着数据...

weixin_40725423的博客 280

【SOFA】SOFA框架+Win10+VS2019 配置

SOFA (Simulation Open Framework Architecture)官网 SOFA 是一个开源的仿真框架,用于实时的物理仿真,而且主要针对医学上的仿真。主要用于研究人员开发新的算法,也可以作为一个有效的快速成型工具或是物理引擎。 官网中给出的配置方法写的很清晰,有着各个库或者软件的版本要求,仔细看按版本要求来 官网配置地址 官网给了两种方 1.通过脚本自动配置 2. 自己下载相关库通过CMake进行生成 第一种 没使用,不知道是否好使,因为如果其中有下载的东西,国内不一定能成功,大家可

GordonWei 5259

ES7 设置磁盘使用率水位线 allocation.disk.watermark

ES 根据磁盘使用率来决定是否分配分片 公司 ES 集群的 Data 节点突然告警磁盘空间不足,清理了部分索引后发现该磁盘的利用率明显高于 ES 集群中其他节点的平均值,也就是说 ES 集群分片分配不均衡。除了让集群自动优化均衡以外,还可以设置一下磁盘空间水位线,这样 ES 就可以根据磁盘使用情况来决定是否继续分配 shard。 使用如下命令可以设置水位线: PUT _cluster/settings { "transient":{ "cluster.routing.allocation.

杂货铺子 9409

不只是对齐:用 MFA 和 Praat 给你的语音数据集快速生成 TextGrid 标注文件

本文详细介绍了如何利用Montreal Forced Aligner(MFA)和Praat工具快速生成TextGrid标注文件,大幅提升语音数据标注效率。通过批量对齐、质量校验和跨语言处理等实战技巧,帮助研究者构建自动化标注流水线,适用于语音合成和语音识别等多种应用场景。

weixin_30675247的博客 378

【ArcGIS Add-in编程】如何创建ArcMap的下拉菜单插件

step1. VS2010中创建一个空的解决方案step2.创建一个项目 直接点击finish。step3 为该项目创建项目,选择Menu,作为根菜单,而后修改xml中的items项,添加需要放在下拉菜单中的项目,例如一个按钮; step4 现在可以创建项目,作为菜单中的项目。为该项目添加新的项目,选择button 此时 xml文件中,多了该button的项目,将该项目添加到items

吃货小跟班的博客 4429

ES数据库索引报错

关键点:[TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block]通过以上操作可快速恢复服务,但需从根本上解决存储容量问题以避免重复触发保护机制。由于 Elasticsearch 磁盘空间不足导致的写入阻塞错误。:Elasticsearch 默认磁盘水位线保护策略。• 超过该阈值后,ES 自动将索引设为。(红色警戒线):磁盘使用 ≥ 95%

qq_44534541的博客 994

ASP.NET Core Identity + Mysql(实战一)——注册登陆

在进行实战之前,我们先来了解一下Identity。 ASP.NET Core Identity是用于构建ASP.NET Core Web应用程序的成员资格系统,包括成员资格、登录和用户数据存储。简单的来讲包括: 1.用户数据存储(使用任意你喜欢的关系型数据库,从sqllite到mysql、sqlserver等等,由Entity Framwork 支持) 2.登陆、注册外加身份认证(基于coo...

weixin_40359716的博客 1397

Elasticsearch 存储水位线测试验证

flood_stage 必须大于 high,high 必须大于 low。:同时设置三个值,确保 low < high < flood_stage。:一次性解锁所有索引(注意:确保磁盘空间已释放):使用本地存储时,ES看到的是物理磁盘总容量。:监控PVC使用量,不要仅依赖ES水位线。:ES不会自动解除只读锁,需要手动解锁。:只解锁指定的索引,其他索引不受影响。

喝醉酒的小白 663

基于MATLAB的导弹轨迹和撞击位置仿真

本文将介绍如何使用MATLAB进行导弹轨迹和撞击位置的仿真,提高导弹的精确打击能力。首先,我们需要确定导弹的初始位置和速度,以及导弹所受到的外部环境因素如重力、空气阻力等。在MATLAB中,可以通过ODE求解器来模拟导弹的运动轨迹。最后,我们通过控制器输出的控制信号来控制导弹的姿态。通过对导弹的运动轨迹和姿态进行仿真,可以更好地预测和规划导弹的运动轨迹,提高其精确打击能力。在实际作战中,为了提高导弹精确打击能力,需要对导弹的撞击位置进行预测和规划。我们可以通过控制导弹的姿态来实现撞击目标的精确命中。

CyberLynxO的博客 1982

【STK】手把手教你利用STK进行弹道导弹和运载火箭发射仿真的相关方法全过程解析

写这个系列主要是这几年做了一些弹道导弹和运载火箭发射的相关仿真项目,stk软件由于其专业性在国内比较小众,相关的教程和书籍、经验贴都不是很多,因此新手在进行开发中容易遇到较多困难,把自己的一些经验体会写下来,一方面供自己总结回顾,另一方面也希望对大家有所帮助。这个系列计划分几篇文章写完,每章的内容结构相似,都分为①如何确定发射场位置和发射轨迹、②导入导弹和运载火箭模型、③设计模型分段动作、④飞行参数分析和相关应用这四个部分,每篇文章争取完整描述1-2个实际项目的操作过程。

weixin_44184852的博客 5984

Elasticsearch 索引的 read_only_allow_delete 属性详解与解决方案

在 Elasticsearch 中,是一种索引级别的设置,用于限制对索引的写操作,但允许删除操作。具体来说,当该设置为true时,索引会处于只读状态,无法执行新增或更新操作,但允许执行删除操作。这种机制通常用于防止误操作或意外修改,特别是在关键数据上。本文将详细介绍的作用、触发条件、解决方法以及如何避免此问题。是 Elasticsearch 中的一种保护机制,用于防止在磁盘空间不足的情况下对索引进行修改操作。通过合理的磁盘空间管理和预警机制,我们可以有效避免索引被设置为只读状态,并确保系统的稳定运行。

XMYX-0 2410

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【ES & Kibana】Kibana 启动 statusCode: 429 报错

ES能正常访问,Kibana却反复崩溃,报错cluster_block_exception。这其实是个经典陷阱:系统根目录使用率超过95%,触发了ES的磁盘水位线保护,导致Kibana因无法写入.kibana索引而启动失败。本文将还原排查过程并给出解决方案。

mm1234556的博客 475

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

SkyWalking探针(Agent)配置避坑指南:从H2内存库到ElasticSearch 8.x持久化实战

本文详细介绍了SkyWalking探针(Agent)在生产环境中的配置优化与从H2内存库迁移到ElasticSearch 8.x的实战经验。通过对比H2与ElasticSearch的性能差异,提供索引模板优化、性能调优参数及探针配置的关键细节,帮助开发者避免常见陷阱,实现高效的全链路追踪和APM监控。

weixin_30555125的博客 374

ElasticSearch磁盘空间阈值设置

磁盘空间阈值设置: curl -XPUT localhost:9200/_cluster/settings -d ‘{ “transient” : { “cluster.routing.allocation.disk.watermark.low” : “80%”, “cluster.routing.allocation.disk.watermark.high” : “50gb”, “cluster...

wssmao250的博客 6264

Elasticsearch集群拒绝请求:索引磁盘使用超限

作为临时解决方案,您可以提高磁盘水位线的阈值,以允许写入操作继续进行,但这并不是长久之计。请按照这些步骤操作,以解决您的Elasticsearch集群问题。如果问题仍然存在,可能需要进一步的诊断和操作。这是一个典型的Elasticsearch集群因为磁盘空间不足而触发的保护机制,导致索引被设置为只读模式(:如果清理磁盘空间后仍然无法解决问题,您可能需要对服务器进行扩容,增加更多的磁盘空间。

一直在路上 736

【Elasticsearch】磁盘警戒水位线机制

磁盘警戒水位线(Disk Watermark)是 Elasticsearch 用于防止节点因磁盘空间不足导致故障的重要保护机制,它会根据磁盘使用情况自动控制分片分配行为。

Data · Model · Agent · Repeat 1824

Elasticsearch从0-1部署成功实战

本文基于生产 3 节点 Elasticsearch 集群实战,完整覆盖 ES 从 0 到 1 全流程:硬件架构规划、操作系统内核调优、Docker‑Compose 集群部署、JVM 堆内存调优、索引 Mapping 设计与别名零停机切换、Canal+MQ 实现 MySQL 数据同步、XPack 安全加固、监控告警。汇总 6 个高频生产事故踩坑复盘:脑裂、磁盘打满只读、OOM、分片热点、GC 长停顿等,附带可直接复制配置与 Java 代码,适合生产落地与后端面试复习

afjkdajs的博客 297

cluster.routing.allocation.disk.watermark.high=3gb

在Elasticsearch配置中,是一个磁盘水位线(disk watermark)设置,用于控制Elasticsearch节点在磁盘空间不足时的行为。

Leon_Jinhai_Sun的博客 432

Elasticsearch集群健康状态优化与分片管理实战

Elasticsearch作为分布式搜索引擎,其集群健康状态直接影响查询性能和数据可靠性。健康状态通过三色标识(Green/Yellow/Red)反映分片分配情况,核心原理涉及分片副本机制和资源分配策略。在工程实践中,合理配置分片数量、JVM堆内存和磁盘水位线是保障集群稳定的关键技术,其中分片大小建议控制在30-50GB,JVM堆内存不超过物理内存的50%。典型应用场景包括日志分析、实时监控等大数据处理领域,通过优化分片分配策略和节点资源配置,可显著提升集群稳定性和查询效率。本文基于真实生产案例,详细解析从

397
上一篇: Linux磁盘清理大法
下一篇: Lepton AI初体验
程序员阿斌
博客等级 码龄8年 66粉丝 40原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值