优化聚合数据查询效率之 Partition

最新推荐文章于 2024-08-16 09:15:00 发布

zhupc_

最新推荐文章于 2024-08-16 09:15:00 发布

阅读量468

点赞数

分类专栏： ElasticSearch 大数据搜索查询分析全指南

本文链接：https://blog.youkuaiyun.com/u014296502/article/details/108729434

版权

ElasticSearch 大数据搜索查询分析全指南专栏收录该内容

40 篇文章 ¥49.90 ¥99.00

订阅专栏

本文探讨了如何优化Elasticsearch中的聚合数据查询，重点介绍了Partition查询和Composite查询。Partition查询适用于预估数据量，通过多线程分批获取数据，但可能不精确。Composite查询则允许按需翻页，无需预先知道数据总量，但不适合多线程并行处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上节课时中介绍了对于 query 查询可以使用 Scroll 来进行优化，聚合数据有时候也会产生大量的数据，本课时将会介绍一下如何优化对聚合数据的查询。

给定需求：

同一个人在不同城市消费的均值。

对于这个需求要弄明白，保证同一个人就是对这个人进行一次聚合，然后再根据不同城市进行聚合，这种需求就会产生大量的聚合数据，因为人比较多。

下面的语句就是先用 customer_id 作为聚合 key，然后用 geoip.city_name 作为第二次聚合 key。再对 taxless_total_price 取均值。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0, 
 "aggs": {
   "users": {
     "terms": {
       "field": "customer_id",
       "size": 10
     },"aggs": {
       "city": {
         "terms": {
           "field": "geoip.city_name",
           "size": 10
         },"aggs&

了解本专栏