ElasticSearch - 聚合 aggs

聚合概念

• ElasticSearch除了致力于搜索之外，也提供了聚合实时分析数据的功能

  • 如果把搜索比喻为大海捞针(从海量的文档中找出符合条件的那一个)，那麽聚合就是去分析大海中的针们的特性，像是

    • 在大海里有多少针？

    • 针的平均长度是多少？

    • 按照针的製造商来划分，针的长度中位值是多少？

    • 每月加入到海中的针有多少？

    • 这里面有异常的针麽？

  • 因此透过聚合，我们可以得到一个数据的概览，聚合能做的是分析和总结全套的数据，而不是查找单个文档(这是搜索做的事)

• 聚合允许我们向数据提出一些複杂的问题，虽然他的功能完全不同于搜索，但他们其实使用了相同的数据结构，这表示聚合的执行速度很快，并且就像搜索一样几乎是实时的

  • 并且由于聚合和搜索是使用同样的数据结构，因此聚合和搜索可以是一起执行的

  • 这表示我们可以在一次json请求裡，同时对相同的数据进行 搜索/过滤 + 分析，两个愿望一次满足

• 聚合的两个主要的概念，分别是 桶 和 指标

  • 桶(Buckets) : 满足特定条件的文档的集合

    • 当聚合开始被执行，每个文档会决定符合哪个桶的条件，如果匹配到，文档将放入相应的桶并接着进行聚合操作

      • 像是一个员工属于男性桶或者女性桶，日期2014-10-28属于十月桶，也属于2014年桶

    • 桶可以被嵌套在其他桶里面

      • 像是北京能放在中国桶裡，而中国桶能放在亚洲桶裡

    • Elasticsearch提供了很多种类型的桶，像是时间、最受欢迎的词、年龄区间、地理位置桶等等，不过他们在根本上都是通过同样的原理进行操作，也就是基于条件来划分文档，一个文档只要符合条件，就可以加入那个桶，因此一个文档可以同时加入很多桶

  • 指标(Metrics) : 对桶内的文档进行统计计算

    • 桶能让我们划分文档到有意义的集合， 但是最终我们需要的是对这些桶内的文档进行一些指标的计算

    • 指标通常是简单的数学运算(像是min、max、avg、sum），而这些是通过当前桶中的文档的值来计算的，利用指标能让你计算像平均薪资、最高出售价格、95%的查询延迟这样的数据

• aggs 聚合的模板

  • 当query和aggs一起存在时，会先执行query的主查询，主查询query执行完后会搜出一批结果，而这些结果才会被拿去aggs拿去做聚合

    • 另外要注意aggs后面会先接一层自定义的这个聚合的名字，然后才是接上要使用的聚合桶

    • 如果有些情况不在意查询结果是什麽，而只在意aggs的结果，可以把size设为0，如此可以让返回的hits结果集是0，加快返回的速度

  • 一个aggs裡可以有很多个聚合，每个聚合彼此间都是独立的，因此可以一个聚合拿来统计数量、一个聚合拿来分析数据、一个聚合拿来计算标准差...，让一次搜索就可以把想要做的事情一次做完

    • 像是此例就定义了3个聚合，分别是custom_name1、custom_name2、custom_name3

  • aggs可以嵌套在其他的aggs裡面，而嵌套的桶能作用的文档集范围，是外层的桶所输出的结果集

  GET 127.0.0.1/mytest/doc/_search
  {
      "query": { ... },
      "size": 0,
      "aggs": {
          "custom_name1": {  //aggs后面接著的是一个自定义的name
              "桶": { ... }  //再来才是接桶
          },
          "custom_name2": {  //一个aggs裡可以有很多聚合
              "桶": { ... }
          },
          "custom_name3": {
              "桶": {
                 .....
              },
              "aggs": {  //aggs可以嵌套在别的aggs裡面
                  "in_name": { //记得使用aggs需要先自定义一个name
                      "桶": { ... } //in_name的桶作用的文档是custom_name3的桶的结果
                  }
              }
          }
      }
  }

  • 结果

      {
       "hits": {
           "total": 8,
           "max_score": 0,
           "hits": [] //因为size设为0，所以没有查询结果返回
       },
       "aggregations": {
           "custom_name1": {
               ...
           },
           "custom_name2": {
               ...
           },
           "custom_name3": {
               ... ,
               "in_name": {
                  ....
               }
           }
       }
      }

聚合中常用的桶 terms、filter、top_hits

• terms桶 : 针对某个field的值进行分组，field有几种值就分成几组

  • terms桶在进行分组时，会爲此field中的每种值创建一个新的桶

  • 要注意此 "terms桶" 和平常用在主查询query中的 "查找terms" 是不同的东西

  • 具体实例

    • 首先插入几笔数据，其中color是一个keyword类型

      { "color": "red" }
      { "color": "green" }
      { "color": ["red", "blue"] }

    • 执行terms聚合

      GET 127.0.0.1/mytest/doc/_search
      {
          "query": {
              "match_all": {}
          },
          "size": 0,
          "aggs": {
              "my_name": {
                  "terms": {
                      "field": "color" //使用colo