elastic search中易并行聚合算法，三角选择原则，近似聚合算法浅析

最新推荐文章于 2024-08-13 18:01:48 发布

hsj1213522415

最新推荐文章于 2024-08-13 18:01:48 发布

阅读量709

点赞数

CC 4.0 BY-SA版权

分类专栏： elastic search

本文链接：https://blog.youkuaiyun.com/hsj1213522415/article/details/97564236

本文探讨了Elasticsearch中的并行聚合算法，如易并行的max，以及如何通过近似聚合处理大数据量的count(distinct)。Elasticsearch采用三角选择原则，在精准、实时和大数据之间进行权衡。文章还介绍了Cardinality指标用于去重，其错误率通常在5%，而HyperLogLog++ (HLL)算法则优化了性能。此外，文章还讨论了_percentiles算法用于统计访问时延和SLA，并提到了percentile ranks metric的优化方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、有些聚合分析的算法，是很容易就可以并行的，比如说max

有些聚合分析的算法，是不好并行的，比如说，count(distinct)，并不是说，在每个node上，直接就出一些distinct value，就可以的，因为数据可能会很多

es会采取近似聚合的方式，就是采用在每个node上进行近估计的方式，得到最终的结论，cuont(distcint)，可能会有5%左右的错误率，近似估计后的结果，不完全准确，但是速度会很快，一般会达到完全精准的算法的性能的数十倍。

2、三角选择原则

精准+实时+大数据 --> 选择2个

（1）精准+实时: 没有大数据，数据量很小，一般就是单机跑；
（2）精准+大数据：hadoop，批处理，非实时，可以处理海量数据，保证精准，可能会跑几个小时；
（3）大数据+实时：es，不精准，近似估计，可能会有百分之几的错误率；

3、近似聚合算法

如果采取近似估计的算法：延时在100ms左右，0.5%错误；
如果采取100%精准的算法：延时一般在5s~几十s，甚至几十分钟，几小时，但是0%错误；

4、es中去重操作；

使用cartinality metric，对每个bucket中的指定的field进行去重，取去重后的count，类似于count(distcint)

GET /tvs/sales/_search
{
  "size" : 0,
  "aggs" : {
      "months" : {
        "date_histogram": {
          "field": "sold_date",
          "interval": "month"
        },
        "aggs": {
          "distinct_colors" : {
              "cardinality" : {
                "field