Elasticsearch 类似 Mysql distinct 功能实现

最新推荐文章于 2024-09-22 00:15:00 发布

Taylor007

最新推荐文章于 2024-09-22 00:15:00 发布

阅读量4.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：程序人生文章标签： elasticsearch

本文链接：https://blog.youkuaiyun.com/qq_35958788/article/details/95110594

程序人生专栏收录该内容

44 篇文章

订阅专栏

本文介绍了如何在 Elasticsearch 中实现类似 MySQL 的 `DISTINCT` 功能，通过聚合方式，利用折叠（collapse）功能来按指定字段去重，并展示了如何统计去重后的总数。同时，提到了内嵌命中（inner_hits）仅适用于 keyword 和数字类型字段，以及提供了相关官方文档链接作为参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实现方式

使用聚合方式实现

按 floor distinct，并取出 num 最大的一条记录

{
  "size": 0,
  "aggregations": {
    "field1": {
      "terms": {
        "field": "floor",
        "size": 20
      },
      "aggs": {
        "num_top": {
          "top_hits": {
            "_source": true,
            "size":1,
            "sort": {"num":"asc"}
          }
        }
      }
    }
  }
}

注：不可以分页

使用 `collapse` 折叠功能

例如，下面的查询检索 message 中有 elasticsearch 值的 twitter，按喜好数量对它们进行排序并按用户 distinct（取排序后每个用户的第一条数据）。

GET /twitter/_search
{
    "query": {
        "match": {
            "message": "elasticsearch"
        }
    },
    "collapse" : {
        "field" : "user" 
    },
    "sort": ["likes"], 
    "from": 10 
}

inner_hits

curl -X GET "localhost:9200/twitter/_search" -H 'Content-Type: application/json' -d'
{
    "query": {
        "match": {
            "message": "elasticsearch"
        }
    },
    "collapse" : {
        "field" : "user", 
        "inner_hits": {
            "name": "last_tweets", 
            "size": 5, 
            "sort": [{ "date": "asc" }] 
        },
        "max_concurrent_group_searches": 4 
    },
    "sort": ["likes"]
}
'

注：仅仅适用于 keyword 和数字类型

统计总数

按 floor distinct 后总数，使用到了数值度量聚合

{
  "aggs": {
    "distinct": { //该参数 key 随意
      "cardinality": {
        "field": "floor"
      }
    }
  }
}
// 相应
...
  "aggregations" : {
    "distinct" : {
      "value" : 20
    }
  }