ElasticSearch去重问题

最新推荐文章于 2025-05-19 16:03:41 发布

nerowang91

最新推荐文章于 2025-05-19 16:03:41 发布

阅读量1.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： ElasticSearch 文章标签： ElasticSearch

本文链接：https://blog.youkuaiyun.com/snowyleafcsdn/article/details/98217186

ElasticSearch 专栏收录该内容

1 篇文章

订阅专栏

本文探讨了Elasticsearch中用于计算distinct count的API，介绍了其基于HLL算法的实现原理，以及如何通过调整precision_threshold参数来平衡内存消耗与计数准确性。适合于小数据量直接使用，大数据量场景下可根据需求调整参数或考虑其他高精度计算方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

es提供了一个简单的计算distinct count的去重计数api，java代码调用如下

AggregationBuilders.cardinality("columnTypeName").field("column_name")

最后生成的查询数据结构为如下

"aggs": {
  "columnTypeName" : {
    "cardinality" : {
      "field" : "column_name"
    }
  }
}

在实际使用中发现，该算法实际上底层使用的HLL算法，而不是精确的distinct计算，在数据量较大的情况下会产生5%以内的误差。于是查了官方文档，发现官方文档的一段解释：

The precision_threshold options allows to trade memory for accuracy, and defines a unique count below which counts are expected to be close to accurate. Above this value, counts might become a bit more fuzzy. The maximum supported value is 40000, thresholds above this number will have the same effect as a threshold of 40000. The default value is 3000.

大意为该算法可通过调整precision_threshold参数来调整内存来提升精度，超过设定的值则准确度下降，支持的最大值为40000，默认值为3000

由此对于使用ES的去重计算情况建议几种方案：
1.小数据量的去重，可以直接使用该方式。
2.大数据量的去重，若不追求完全一样精度，可以使用该方法，视情况调整内存来使误差尽量小。
3.大数据量的去重，追求数据结果完全一致。一种是可以使用es的termsagg来进行groupby计算，最后获取其数量，该方式可能因为数据量过大而占用太多内存。另一种方案是通过GreenPlum等计算数据库来进行去重计算，es仅保留结果用于查询