ElasticSearch watermark设置

最新推荐文章于 2025-03-30 10:20:14 发布

@斯坦索姆

最新推荐文章于 2025-03-30 10:20:14 发布

阅读量173

点赞数 1

文章标签： elasticsearch jenkins 大数据

本文链接：https://blog.youkuaiyun.com/weixin_43423959/article/details/146176756

版权

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.disk.watermark.low": "90%",
    "cluster.routing.allocation.disk.watermark.low.max_headroom": "100GB",
    "cluster.routing.allocation.disk.watermark.high": "95%",
    "cluster.routing.allocation.disk.watermark.high.max_headroom": "20GB",
    "cluster.routing.allocation.disk.watermark.flood_stage": "97%",
    "cluster.routing.allocation.disk.watermark.flood_stage.max_headroom": "5GB",
    "cluster.routing.allocation.disk.watermark.flood_stage.frozen": "97%",
    "cluster.routing.allocation.disk.watermark.flood_stage.frozen.max_headroom": "5GB"
  }
}

假设你有一个 10TB 的 Elasticsearch data 节点：

当磁盘使用 < 90%，正常分配 shard，写入数据。
当磁盘使用 > 90% 或剩余空间 < 100GB，尽量不再分配新的 shard，但仍可写入数据。
当磁盘使用 > 95% 或剩余空间 < 20GB，不会再分配新的 shard，但仍可写入数据。
当磁盘使用 > 97% 或剩余空间 < 5GB，Elasticsearch 会将索引 设为只读，防止磁盘写满。

配置项							作用
low								超过这个值 尽量不分配 shard，但可继续写入
low.max_headroom				磁盘 剩余空间低于该值 也算 low
high							超过这个值 不再分配 shard，但可继续写入
high.max_headroom				磁盘 剩余空间低于该值 也算 high
flood_stage						超过这个值 索引变只读，防止磁盘写满
flood_stage.max_headroom		磁盘 剩余空间低于该值 也算 flood_stage
flood_stage.frozen				适用于 frozen 索引的 flood_stage
flood_stage.frozen.max_headroom	适用于 frozen 索引的 max_headroom