ES磁盘使用超限问题：TOO_MANY_REQUESTS disk usage exceeded flood-stage watermark,

问题表现

报错信息：TOO_MANY_REQUESTS disk usage exceeded flood-stage watermark,index has read-only-allow-delete block

错误信息整体解析

该错误完整含义为：由于磁盘使用量超过了洪水阶段水位线(flood-stage watermark)，系统触发了保护机制，将索引设置为"只读-允许删除"(read-only-allow-delete)状态，同时拒绝新的写入请求(TOO_MANY_REQUESTS)，防止磁盘被完全占满而影响集群稳定性。

错误原因

1. 磁盘空间不足：集群中的一个或多个节点磁盘使用率超过了95%（默认flood-stage阈值）
2. 未清理旧数据：日志或历史数据积累过多
3. 索引膨胀：数据增长速度超过预期，或索引配置不合理
4. 磁盘故障：物理磁盘或挂载点出现问题

解决方案

1. 临时解除只读限制（紧急恢复）

通过API临时允许写入，但这不会解决根本问题：

curl -X PUT "localhost:9200/_all/_settings" -H 'Content-Type: application/json' -d'
{
    "index.blocks.read_only_allow_delete": null
}
'

2. 释放磁盘空间

• 删除无用索引：

  curl -X DELETE "localhost:9200/old-index-*"
  

• 调整分片分配：将部分索引迁移到磁盘空间充足的节点

• 缩小索引：对大索引进行rollover或force merge

3. 调整磁盘水印设置（临时缓解）

通过以下命令临时降低警戒水位：

curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
    "transient": {
        "cluster.routing.allocation.disk.watermark.low": "90%",
        "cluster.routing.allocation.disk.watermark.high": "95%",
        "cluster.routing.allocation.disk.watermark.flood_stage": "98%"
    }
}
'

4. 长期优化建议

1. 监控磁盘使用：设置告警阈值（建议在75%时触发）
2. 配置索引生命周期管理(ILM)：自动删除或冻结旧数据
3. 增加磁盘空间：挂载更大容量的磁盘或扩展现有卷
4. 水平扩展集群：添加更多数据节点分担存储压力
5. 优化索引结构：使用合适的分片数和副本数

验证修复

执行以下命令检查集群健康状态和磁盘使用情况：

curl -X GET "localhost:9200/_cluster/health?pretty"
curl -X GET "localhost:9200/_cat/allocation?v"

确保磁盘使用率低于高水位线，并且集群状态变为green或yellow。

如果问题反复出现，建议深入分析数据增长模式并规划长期存储策略。