elasticsearch去重查询指定的数据量

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 443平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄16年

关注

原创最新推荐文章于 2026-06-04 08:32:29 发布 443 阅读 AI 写同款· GEO 优化 ›

Elasticsearch collapse 的使用场景及作用机制在 Elasticsearch 查询中，collapse（字段折叠）用于对指定字段的值进行分组，每组只返回一个文档。它的作用类似于 SQL 里的 GROUP BY，但 collapse 不会聚合所有字段，而是仅折叠查询结果的显示方式。业务场景推荐使用只想展示每个分组的一个结果，如每家公司最多一个职位✅ collapse需要统计各分组的所有数据，如统计不同公司的职位总数❌ 使用 terms 聚合需要分页且分组后仍能正确分页❌ terms 聚合或 search_after。阅读详情

GET /xxx/_search
{
  "collapse": {
    "field": "dataSource",
   "inner_hits": {
      "name": "top_rated",
      "size": 2,
      "sort": [
        {
          "time": "desc"
        }
      ]
    }
  }
}

收录于

当前文章被以下社区和专栏收录：

标签

#大数据

ElasticSearch java api实现聚合+去重查询，获取去重后明细数据先说下业务场景，在我们的业务中，分析存在ES中的数据，需要获取到一定数据量的去重明细数据，例如，我们想要查看某一批设备的属性信息，分析设备属性是否存在某些一致性特征，这种情况下，我们就需要获取到这些设备属性的去重数据，因为重复的设备信息对我们没有意义。我在网上找到很多的聚合去重查询，但是大部分都是restful api实现，而且大部分都是去重查询数量，查明细数据的例子很少。基于restful api的实现很容易，只要拼装出相应的聚合查询json数据结构，设置好聚合、排序、数量限制等条件，即可完成去重阅读详情

相关推荐

ElasticSearch在数据量很大的情况下如何提高查询效率

目录：一. es 在数据量很大的情况下（数十亿级别）如何提高查询效率？二. 数据预热三. 冷热分离四. document 模型设计五. 分页性能优化一. es 在数据量很大的情况下（数十亿级别）如何提高查询效率？ es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5 -10s，坑爹了。第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。 es性能优化是没有什么银弹的，啥意思呢？就是不要期待着随手调一个参数，就可以万能的应对

longlong6682的博客 6728

Elasticsearch去重查询

1、前言最近遇到一个es数据查询去重的需求，我这边需要的是获取去重后的结果，查询官网资料和各位大神的经验后，总结一下elasticsearch去重查询功能。 2、Elasticsearch去重功能关系型数据库中，比如MySQL，可以通过distinct进行去重，一般分为两种： 1 ) 统计去重后的数量 select distinct(count(1)) from test; 2 ) 获取去重后的结果 select distinct name,sex from person; test，p

segegefe的博客 6614

ElasticSearch——全文搜索引擎

一、为什么需要全文搜索引擎？首先先来了解一个概念，在我们生活中一般来说有两种数据：结构化数据、非结构化数据结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。非结构化数据：非结构化数据又可称为全文数据，指不定长或无固定格式的数据，如邮件，word文档等。对于结构化数据我们可以直接从数据库查询，而对于非结构化的数据此时就要用到全文检索的方式查询，比如对一个文档或者网页中的内容文本每个词建立一个索引，把这些非结构化的变成结构化的方式然后来查询。全文搜索引擎百度百科定义：全文搜索引擎是目前

hl404的博客 1万+

【elasticsearch】ES去重查询实现

2）cardinality基数计算去重后数量（采用hyperloglog实现，hyperloglog一种近似计算）会有误差，去重实现原理：采用es 的Collapse折叠+cardinality基数计算实现去重。1）Collapse折叠只支持一个字段去重,且字段必须是 keyword。3）不支持search_after 和 scroll，有深度分页问题。1、优点：简单快速效率高，几乎无性能损耗（相比于分桶去重）将多个字段组合成一个字段然后去重。多个字段组合成一个字段有3种方案。

qq_31286957的博客 9085

es7.1聚合查询 javaAPI

查询符合条件的数据量 /** * 查询符合条件的数据量 * * @param client RestHighLevelClient类型的连接对象 * @param queryBuilder 查询限制条件可以为null * @return long * @throws IOException 查询数据抛出的异常 */ public long getAllCountForOneField(RestHighLevelClient client, QueryBu.

IT_arookie的博客 2944

一次解决 Elasticsearch 两大难题：掌握去重和深分页的最佳实践

最近手上接到了一个新的需求，要求从A表抽数据到B表，给前端展示用。听到这个需求：心头一乐，这不是就是ETL吗？写个简单的查询插入即可，简单！！！使用ES的过程中不可谓不艰难，第一次使用就遇到了这么个需求，时也命也？不过，这也加深了我对ES的理解，不知道大伙儿在用ES的过程中有遇到哪些坑呢~~

一个卑微的java开发 1042

Elasticsearch-head 查询按某字段去重后命中数量

代码 //需要在地址栏指明： http://ip:port/索引/_search 并使用post方法 { "query": { "match": { "facedbId": "xxx" //指定facedbId='xxx'查询条件 } }, "size": 0, "aggs": { "labelId_aggs": { "cardinality": { "field": "labelId" //指定查询结果按label

愿你远行千里，归来仍是少年 2258

Elasticsearch 数据量大时如何优化查询性能？

在面试中，如果你被问到：“Elasticsearch（ES）在数据量很大的情况下（数十亿级别）如何提高查询效率？” 那么面试官其实是在测试你是否有实际使用 ES 的经验。为什么这么说？因为很多人以为 ES 性能非常强大，但实际上，在数据量达到几亿甚至数十亿条时，你可能会惊讶地发现，搜索一次需要 5~10 秒。而且，第一次查询特别慢，之后才变快，变成几百毫秒。这是为什么？本文将从 ES 的底层原理入手，逐步拆解大规模数据查询优化的方法。ES 性能优化没有“万能的参数”，不能指望改个配置就能让所有查询变快。但是

忍者算法的博客 1914

elasticsearch去重查询总条数

java API SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.collapse(new CollapseBuilder("name.keyword")); 但是有个问题，就是hits的total value不对，对应的还是未去重的数量，其实想要的是去重后的总数可以借助 Aggregation 中的cardinality来实现 java API Search..

nddjava的专栏 1688

五、elasticsearch查询操作

elasticsearch更多查询操作

Tony_chenph的博客 1万+

如何使用python访问Elasticsearch并实现大批量查询

问题背景：近期的工作中，获取应用日志数据时，发现采用的是elk架构的日志服务器，需要访问ElasticSearch服务器来查询所需要的日志数据自己也是第一次接触elk，因此走了不少的弯路，主要遇到的问题有： 1、Python如何连接es服务器——elasticsearch库 2、如何发送查询语句，获取查询结果——DSL查询语言 3、查询结果较多时，如何进行查询和保存——scroll方法 4、网络异常/查询失败时，如何自动重连——try+catch+while语法在爆肝了几个晚上之后，总算把以上的全部问

狸克先生的笔记本 7783

java操作es查询数据总量

java操作es查询count

mianhuatang__的博客 8290

【opencv3 学习记录】第二章读取显示保存视频

一：捕获视频函数 1.函数：cv2.VideoCapture(参数) 2.参数说明：（1）开启摄像头：参数一般为0，你可以通过设置成 1 或者其他的来选择别的摄像头。（2）从文件夹中获取视频：参数为字符串形式的文件路径 3.示例： cap = cv2.VideoCapture(0) #cap：存放参数二：读取视频函数 1.函数：cap.read() 2.函数说明：（1）cap.read 中cap与捕获视频函数存放函数一致，可以自己命名.括号一般不用填写（2）ret,f

m0_64448543的博客 3271

elasticsearch5.5.0实战（把复杂sql翻译为ES语法在kibana执行），实现ES分组统计，去重

一、sql语句（大体就是分组统计，去重累加） select * from( select a.reDay, count(distinct a.deviceNum) deviceNumber, b.deviceCount deviceCount, sum(a.newOrderNum) newOrderNum, sum(a.paidOrderNum) paidOrderNum, sum(a.refundedOrde

hgg923的专栏 2844

Paho Asynchronous MQTT C Client Library--MQTTAsync API

异步MQTT 客户端库for C

yoyo勰的博客 1263

【物联网】探索NE555：一款经典的集成电路（超详细）

NE555是一种集成电路，其内部结构包括比较器、RS触发器、电压比较器和输出级三个主要功能模块，外部引脚则提供了与其他电路元件进行连接的接口。NE555的设计目的是为了提供一种简单方便的定时器解决方案，它广泛应用于模拟和数字电路中。NE555作为一款经典的集成电路，具备设计简单、易于使用和稳定可靠的特点，在电子领域发展了广泛的应用。从单稳态模式到多稳态模式，再到振荡器模式，NE555可以满足不同的需求，并且可以与其他电路元件灵活组合，扩展其功能。然而，需要注意的是NE555也有一些限制。

Goforyouqp的博客 6万+

ES 与 MySQL 在较大数据量下查询性能对比

1.mysql建立合适的索引，避免回表的情况下，其查询性能还是非常优异的。2.对于 ES 的测试结果，其实并不令人意外。不过，对于 ES 在字典中查找对应 keyword 的具体方式，我充满了好奇。目前我在思考它是否基于二分法进行查找呢？毕竟在面对庞大的数据量时，如果采用二分法，可能会在一定程度上影响查询速度。遗憾的是，目前我还没有找到关于 ES 底层查询原理的详细资料，所以这仅仅是我的一种猜测罢了。倘若让我来编写这样一个程序，在没有更多信息的情况下，二分法或许是我首先能想到的一种实现方式。

ezreal_pan的博客 2078

【codex教程】Codex 注册和使用教程（2026最新版）

Codex 是 OpenAI 推出的 AI 编程助手，可以帮助开发者阅读代码、修改代码、运行命令、生成测试、排查 bug、做代码审查，也可以在终端、IDE、Codex App 或网页端使用。根据 OpenAI 帮助中心，截至 2026 年 6 月，Codex 已包含在 Free、Go、Plus、Pro、Business、Edu 和 Enterprise 等 ChatGPT 方案中，但不同套餐的使用额度会有所不同。适合开发者在终端中使用。如果你想在命令行里使用 Codex，可以安装 Codex CLI。

与时俱进，开放共享 2万+

详解最热门搜索引擎——ES

一、产生背景互联网发展早期的时候，对于一般的公司储存的数据量不是那么的大，所以很多公司更倾向于使用数据库去存储和查询数据，如：现在去MySQL中查询数据，大概的查询方式就是：select * from table where filed like “%XXX%”或者其他方式，但是，如果我们在查询的时候没有用到或命中数据库建立的索引话，则会扫描整张表，即便是MySQL做过单表查询能力优化，但是他的极限也只在400万左右，且还会经常出现超时现象，让后为了解决这些问题，。很多公司就开始对数据库进

会编程的小郑 1万+

VsCode+JLink+GCC替代Keil开发GD32程序-个人总结

对个人使用vscode+Jlink开发GD32程序做了总结，供需要者参考。

MyCollege1999的博客 2762

MATLAB实战：用ARMAX模型搞定电力系统惯量实时评估（附完整代码）

本文详细介绍了如何利用MATLAB中的ARMAX模型实现电力系统惯量的实时评估。通过系统辨识技术，结合电力系统的动态特性，提供从数据预处理、模型辨识到实时评估的全流程实战指南，并附完整代码。ARMAX模型在新能源高渗透率电网中展现出显著优势，误差较传统方法降低50%以上。

b9c0d的博客 390

ElasticSearch三：ES如何优化查询的性能

es在数据量很大的情况下（数十亿级别）如何提高查询效率啊？问这个问题，是肯定的，说白了，就是看你有没有实际干过es，因为啥？es说白了其实性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5秒~10秒，坑爹了。第一次搜索的时候，是5~10秒，后面反而就快了，可能就几百毫秒。（LRU）你就很懵，每个用户第一次访问都会比较...

qq_41864967的博客 1万+

FPGA 学习笔记：Vivado 工程更改FPGA 型号

坚韧与专注 1万+

ElasticSearch面试 - es 在数据量很大的情况下如何提高查询效率啊？

ElasticSearch面试 - es 在数据量很大的情况下如何提高查询效率啊？面试题 es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？面试官心理分析这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~10s，坑爹了...

YunWisdom 5544

MyBatis-Plus 实战：敏感字段自动加解密支持模糊查询

本文基于MyBatis-Plus框架提出了一种全链路敏感字段加密方案。通过自定义TypeHandler实现数据入库自动加密和查询自动解密，结合重写LambdaQueryWrapper处理查询条件加密，并适配多种查询方式。方案核心包括：1）AESUtil工具类提供加解密基础能力；2）EncryptTypeHandler实现字段类型转换；3）实体类通过注解配置加密字段。该方案在保证数据安全的同时，对业务代码侵入性小，支持姓名、手机号等敏感信息的全流程加密处理，满足系统开发的安全需求。

蔡定努 595

锂电池充电器电路设计里面有电路

锂电池充电器电路设计里面有电路 3.7V升压到5V电路设计。

Elasticsearch 5.x 字段折叠的查询去重使用

在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing，#22337）的功能非常有意思，在这里分享一下，字段折叠是一个很有历史的需求了，可以看这个 issue，编号#256，最初是2010年7月提的issue，也是讨论最多的帖子之一（240+评论），熬了6年才支持的特性，你说牛不牛，哈哈。目测该特性将于5.3发布，尝鲜地址：Elasticsearch-5.3....

weixin_41997172的博客 4064

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

上一篇： linux挂载磁盘

下一篇： docker网段不通问题

ElasticSearch在数据量很大的情况下如何提高查询效率

longlong6682的博客

05-13

6728