Elasticsearch中字段折叠的使用：Collapsing大数据

最新推荐文章于 2025-08-17 09:14:56 发布
最新推荐文章于 2025-08-17 09:14:56 发布
阅读量313 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： 大数据 elasticsearch 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BugCrusher/article/details/132373274
大数据 专栏收录该内容
183 篇文章 ¥59.90 ¥99.00
订阅专栏
本文介绍了Elasticsearch中的Collapsing功能，用于处理大数据时折叠相同字段值的文档，以减少返回结果和提升查询性能。通过示例展示了如何设置折叠字段、控制返回文档数量以及按多个字段折叠，适用于电子商务等场景。

Elasticsearch中字段折叠的使用：Collapsing大数据

Elasticsearch是一个强大的开源搜索引擎和分布式数据存储，广泛应用于处理和分析大规模数据。在处理大数据时，经常需要对结果进行折叠，以减少返回的文档数量并提高查询性能。Elasticsearch提供了一种称为Collapsing的功能，可以在查询结果中折叠具有相同特定字段值的文档，以便更有效地浏览和处理大数据集。

Collapsing功能可用于各种用例，例如在电子商务网站中对搜索结果进行聚合，以显示每个产品的唯一摘要或统计信息。下面我们将详细介绍如何在Elasticsearch中使用Collapsing来处理大数据。

首先，我们需要创建一个包含大数据集的索引。假设我们有一个包含产品信息的索引，每个文档都有一个唯一的产品ID字段（product_id）。我们将使用该字段来进行折叠。

PUT /products
{
   
   
  "mappings": {
   
   
    "properties":
了解本专栏 订阅专栏 解锁全文
七.Elasticsearch 字段折叠
笔生花的博客
11-28 2760
概要：字段折叠其实就是聚合，不过在es中字段折叠是单独一个模块，聚合也是一个模块，在某些时候两者可以实现同样的功能，字段折叠是简单的聚合，而聚合aggs则是一个大模块，里面有更多更详细的各种聚合功能。本文只说字段折叠，不讲解agg模块，感兴趣的话你可以去官网。 字段折叠： GET cdr-2018-12*/_search { "query": { "bool"...
【Elasticsearch】Elasticsearch 5.x 字段折叠的使用 Collapsing
九师兄
05-18 430
1.概述 转载文章并且对其进行纠正：Elasticsearch 5.x 字段折叠的使用 本次是以es 6.8 做的操作 在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing，#22337）的功能非常有意思，在这里分享一下， 字段折叠是一个很有历史的需求了，可以看这个 issue，编号#256，最初是2010年7月提的issue，也是讨论最多的帖子之一（240+评论），熬了6年才支持的特性，你说牛不牛，哈哈。 目测该特性将于5.3发布，尝鲜地址：Elasticsearch.
Elasticsearch 5.x 字段折叠的使用
Running_Tiger的博客
11-19 1424
Elasticsearch 5.x 字段折叠的使用一、字段折叠介绍二、字段折叠实战准备数据普通的查询效果加个评分排序 一、字段折叠介绍 在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing，#22337）的功能非常有用 字段折叠是一个很有历史的需求了，可以看这个 issue，编号#256 目测该特性将于5.3发布，尝鲜地址：Elasticsearch-5.3.0...
es 从某个字段中的相同数据取任意一个数据
sxf_123456的博客
08-16 2914
So，什么是字段折叠，可以理解就是按特定字段进行合并去重，比如我们有一个菜谱搜索，我希望按菜谱的“菜系”字段进行折叠，即返回结果每个菜系都返回一个结果，也就是按菜系去重，我搜索关键字“鱼”，要去返回的结果里面各种菜系都有，有湘菜，有粤菜，有中餐，有西餐，别全是湘菜，就是这个意思，通过按特定字段折叠之后，来丰富搜索结果的多样性。   说到这里，有人肯定会想到，使用 term agg+ top h
elasticsearch 基础 —— Field Collapsing字段折叠
热门推荐
gmHappy
09-18 1万+
允许根据字段值折叠搜索结果。通过按折叠键选择顶部排序文档来完成折叠。例如，下面的查询检索每个用户的最佳推文，并按喜欢的数量对它们进行排序。 GET /twitter/_search { "query": { "match": { "message": "elasticsearch" } }, "collapse" ...
Elasticsearch 8.16.0：革新大数据搜索的新利器
小蜗牛的珍贵百宝箱
01-20 882
对于大数据应用开发者而言，Elasticsearch8.16.0是一个不可或缺的工具，为实现高效、可靠的数据搜索和分析提供了强大的技术基础。社交媒体和新闻分析也可以借助Elasticsearch来实时处理和分析大量的社交数据和新闻数据，通过聚合查询进行热点分析，帮助企业进行舆情监控和市场分析。带来了诸多革新，进一步提升了数据搜索和分析的效率。Elasticsearch8.16.0作为一个重要的版本更新，提供了多个关键的特性和增强，帮助开发者和企业更高效地进行数据索引、搜索和分析。
606701 实战Elasticsearch、Logstash、Kibana：分布式大数据搜索与日志挖掘及可视
04-07
606701 实战Elasticsearch、Logstash、Kibana：分布式大数据搜索与日志挖掘及可视
bigdata_blogs:与大数据博客相关的项目（例如elasticsearch）
05-07
在描述中提到了“例如elasticsearch”，这表明项目可能涉及使用Elasticsearch这种强大的搜索引擎和数据分析工具。Elasticsearch是基于Lucene构建的，主要用于处理、搜索和分析大量数据，尤其适合实时的全文搜索。 ...
Elasticsearch 学习之Field Collapsing（字段折叠）
YEE_HOLIC的博客
08-13 1万+
Field Collapsing（字段折叠）不能与scroll、rescore以及search after 结合使用 collapse字段：表示按照age（每个age对应多条document结果）的值折叠（keyword或者数值） sort：表示按照age字段排序 from：偏移，即前180个document的值都被折叠掉了 curl -XGET "http://localhost:9200...
java elasticsearch 利用行折叠collapse 店铺去重，由近及远计算距离
qq_39763510的博客
03-20 924
【代码】java elasticsearch 利用行折叠collapse 店铺去重，由远及近计算距离。
elasticsearch折叠字段collapse的使用
酱紫的博客
10-22 6516
地址：https://elasticsearch.cn/article/132 注：可以直接看 倒数第5个代码块
Elasticsearch Collapsing 字段折叠使用详解_字段折叠后数量结果Total不准确解决方法
胡老汉的博客
12-30 3497
在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing）的功能非常有用，在这里分享一下 前言 在电商商品中有分SKU和SPU sku是和商品的库存相关的一个概念。比如air max90、蓝色、40码的nike跑鞋，就是一个sku。你可以设置这个sku的价格、库存。 spu是标类商品的一个概念。所谓标类简单理解就是有型号的商品，比如 air max90、蓝...
Elasticsearch 5.x 字段折叠的查询去重使用
不见其长，日有所长
08-27 931
1. 前言 在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing，#22337）的功能非常有意思，在这里分享一下， 字段折叠是一个很有历史的需求了，可以看这个 issue，编号#256，最初是2010年7月提的issue，也是讨论最多的帖子之一（240+评论），熬了6年才支持的特性，你说牛不牛，哈哈。 该特性将于5.3发布。 So，什么是字段折叠，可以理解就...
elasticsearch collapse折叠聚合
jacke121的专栏
12-16 1万+
目前经验：折叠只能用于筛选数据， 不能进行聚合，需要聚合，自己在内存中聚合 from elasticsearch import Elasticsearch def query_2coll(index_name): query = {'size': 10000, "query": { "match_all": {} ...
ElasticSearch：Collapse折叠搜索结果
qq_39198749的博客
05-24 2107
Collapse简述 使用collapse参数可以基于字段值去折叠搜索结果。 对于某个字段值相同的文档，排序后将保留排在前面的文档，后面的文档将被折叠。 注意 使用Collapse折叠后，es响应中的hits.total的总响应数不是折叠后的总total，还是折叠前的总total 用于折叠的字段，必须是keyword或者numeric 如果想获取折叠后的总数，需要使用cardinality进行聚合 Java使用Collapse SearchSourceBuilder builder =
ES学习记录9.4——请求体搜索(字段折叠Filed Collapsing和搜索后Search After)
jacksonary的博客
11-16 2455
1. 字段折叠  ES允许基于字段值折叠搜索结果，ES仅对排序后文档的顶部文档执行成折叠操作，比如从每个推特用户获取它们最好的推文并通过其他用户的点赞数进行排序(升序)： // 创建索引，这里一定要将user字段的类型设置为keyword或numeric curl -X PUT "localhost:9200/twitter" -H 'Content-Type: application/json'...
Elasticsearch 用 `collapse` 做结果去重与分组展示（含 inner\_hits、分页、重排、二级折叠）
最新发布
hello.reader
08-17 922
Elasticsearch 折叠查询（Collapse）功能摘要：该功能用于按指定字段去重并返回每组Top结果，支持单值keyword或数值类型字段。基础用法通过collapse.field指定分组字段，配合sort选择组代表。可展开每组结果（inner_hits），支持多视图展示，但需注意性能开销。分页需使用search_after且排序字段必须与分组字段相同。支持与重排（rescore）配合使用，但仅作用于组代表文档。使用限制包括：不能与scroll共用、字段需开启doc_values、分页特殊性等。性
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值