es查询报错：too_many_buckets_exception

故障排除

es查询报错：too_many_buckets_exception

{"error":{"root_cause":[],"type":"search_phase_execution_exception","reason":"","phase":"fetch","grouped":true,"failed_shards":[],"caused_by":{"type":"too_many_buckets_exception","reason":"Trying to create too many buckets. Must be less than or equal to: [65536] but was [65537]. This limit can be set by changing the [search.max_buckets] cluster level setting.","max_buckets":65536}},"status":503}

问题原因

• 过多的分组: 你在执行聚合查询时请求分组的字段数据量太大。这可能涉及高基数的字段（例如用户ID、商品ID等），导致生成的桶数量极多。

• Elasticsearch 配置: ElasticSearch 有默认的限制用来防止过多的桶数据耗尽系统资源。

• 数据量: 查询涉及到的数据量过大，或者数据的多样性太高，导致底层聚合器试图创建大量的桶。

解决方案

优化聚合查询增加过滤条件，限制查询的数据量

1. 限制聚合的桶数量
   在聚合查询中，通过 size 参数来限制请求的桶数量。例如，如果你使用的是 terms 聚合，可以设置 size 参数为一个更低的数字，如 1000 或 5000。

{
  "aggs": {
    "my_agg": {
      "terms": {
        "field": "my_field",
        "size": 1000  // 设置桶的数量限制
      }
    }
  }
}

2. 使用 composite 聚合
   composite 聚合允许逐页检索聚合结果，可以避免一次性获取过多的桶。可以通过设置 after 参数来获取下一页的数据，适合高基数聚合场景。

{
  "aggs": {
    "my_composite_agg": {
      "composite": {
        "sources": [
          { "my_field": { "terms": { "field": "my_field" } } }
        ],
        "size": 1000  // 设置每次请求的大小
      }
    }
  }
}

3. 过滤数据
   通过使用 query 过滤条件，减少输入到聚合的文档数量以及波动性，从而降低桶的数量。例如，添加时间范围过滤器、状态过滤器等。

{
  "query": {
    "range": {
      "timestamp": {
        "gte": "now-1d/d",
        "lt": "now/d"
      }
    }
  },
  "aggs": {
    "my_agg": {
      "terms": {
        "field": "my_field",
        "size": 1000
      }
    }
  }
}

扩充桶的数量（不推荐）：

方式1： 进入容器执行：

curl -X PUT -k "http://127.0.0.1:9200/_cluster/settings" -H 'Content-Type:application/json' -d '{"persistent":{"search.max_buckets":1000000}}' -u 用户名:密码

方式2：是用工具请求postman等

PUT /_cluster/settings
{
  "transient": {
    "search.max_buckets": 20000  // 增加桶的阈值
  }
}