（转载）es 常用聚合函数与builder api间转换关系

最新推荐文章于 2024-11-20 13:53:43 发布
转载 最新推荐文章于 2024-11-20 13:53:43 发布 · 124 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.51cto.com/shadowisper/2393555
文章标签：

#java

本文分享了如何在Elasticsearch中使用Shadow Pseudo技术进行聚合操作，深入探讨了其在搜索和数据分析中的应用实例，适合高级用户和开发者阅读。
ElasticSearch分布式搜索引擎原理与代码实例讲解
AI天才研究院
07-08 1202
随着互联网数据量的爆炸性增长，传统关系型数据库在处理大规模、实时查询时显得力不从心。数据检索的需求迫切需要一种更高效、灵活且可扩展的解决方案。ElasticSearch应运而生，作为一款开源的分布式全文搜索与分析引擎，它具备强大的数据索引、全文搜索、分析和监控功能，广泛应用于日志搜索、文档检索、实时分析等领域。解析阶段: 解析查询请求，提取查询条件和参数。过滤阶段: 使用过滤器筛选出满足条件的文档。聚合阶段: 对筛选后的结果进行聚合统计，生成结果集。排序阶段: 根据排序规则对结果集进行排序。
ES java api 分组聚合，以及查询api（滚动）
weixin_44399790的博客
04-15 1563
package com.xhzw.electric.service.impl; import com.alibaba.fastjson.JSON; import com.xhzw.electric.es.ElectricMeter; import com.xhzw.electric.service.ElasticSearchService; import com.xhzw.electric.util.Constant; import com.xhzw.electric.util.DateUtil; im.
【ElasticSearch-聚合查询】ES聚合统计及springboot对比实现
qq_42890164的博客
01-26 3748
一文详解Elasticsearch中涉及的桶聚合、指标聚合、管道聚合及其所属各类函数使用及springboot对比实现
SpringBoot中使用ElasticSearch聚合功能
Gmavkitx's Blog
10-23 3191
最近在研究Elasticsearch，需要在Spring boot中调用ES去查询两级聚合，再统计出第二级聚合中的数量大于1的桶中的Hits返回，发现了一篇写的不错的技术文章如下，我只使用了其中的聚合部分。此作者写的比较详细，收藏以备后用。 https://blog.youkuaiyun.com/topdandan/article/details/81436141 业务场景: 需要对一个索引中的两个字段...
springboot中ElasticSearch入门与进阶：组合查询、Aggregation聚合查询（你想要的都有）
热门推荐
像雾像雨又像风_的博客
08-06 6万+
1.springboot中配置elasticSearch 1.1在工程中引入相关的jar包   1.1.1 在build.gradle中添加需要的jar包       我创建的gradle工程，对应的maven工程也是一样，添加对应的jar包即可 // 添加 Spring Data Elasticsearch 的依赖 compile('org.springframework.boot:...
用elasticsearch聚合函数实现distinct查询
jsiostream的博客
02-14 1万+
1.等价的sql Sql代码 ： SELECT DISTINCT field1,field2 FROM test_index.test_type 等价于 Sql代码： SELECT field1,field2 FROM test_index.test_type GROUP BY field1,field2 Controller： 这是根据类型和传过来的可变字段key来查询 /** ...
ElasticSearch整合JavaApi 新版8.7.1版本
2401_84763035的博客
11-20 1489
ES整合JavaApi的使用
一文掌握新版ElasticSearch8.X+SpringBoot3.X+JDK17最佳实践，常见搜索API使用和性能优化
二当家小D的学习资源库
04-19 4467
0基础快速上手ElasticSearch8.X+SpringBoot3.X+JDK17，常见API使用和性能优化
ElasticSearch入门简介、安装ES（安装Kibana和IK分词器）&使用 Postman连接ES进行测、ES&RestAPI（操作索引CRUD&操作文档CRUD）、练习
weixin_46589095的博客
05-17 569
ES入门简介、安装ES（安装Kibana和IK分词器）&使用 Postman连接ES进行测、ES&RestAPI（操作索引库CRUD&操作文档CRUD）和批量操作文档 @BeforeEach和@BeforeAll的区别、练习’
Elasticsearch Java API 很全的整理
HuaZi_Myth的博客
10-17 858
Elasticsearch 的API 分为 REST Client API（http请求形式）以及 transportClient API两种。相比来说transportClient API效率更高，transportClient 是通过Elasticsearch内部RPC的形式进行请求的，连接可以是一个长连接，相当于是把客户端的请求当成 Elasticsearch 集群的一个节点。但是从Ela...
SpringBoot整合 ElasticSearchRestTemplate使用
smile_boyyy的博客
03-28 4171
ElasticSearch ElasticRestTemplate使用 环境准备 SpringBoot 2.4.3 es版本 7.11.1 jdk 1.8 application.yml #因为本机9200是默认链接地址，未设置用户名密码，唯一未配，如需配置，以下地址配置 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-omRDYdeP-1616901668266)(C:\Users\huyonghao\AppData\Roaming\Typora\typora-us
springboot中ElasticSearch入门与进阶：组合查询、Aggregation聚合查询
猪之仆的博客
08-03 1674
1.springboot中配置elasticSearch 1.1在工程中引入相关的jar包 1.1.1在build.gradle中添加需要的jar包 我创建的gradle工程，对应的maven工程也是一样，添加对应的jar包即可 // 添加 Spring Data Elasticsearch 的依赖 compile('org.springframework.boot:spring-boot-starter-data-elasticsearch') ...
架构整合集成—分布式标配组件—Spring Boot 集成 ElasticSearch
Coder_Boy_的博客
06-18 287
Spring Boot 集成 ElasticSearch pom.xml 中添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> application.properties中添加 配置信息
【Docker+springboot】集成部署ES+Kibana+IK
08-13 1440
1. ELASTICSEARCH 1、安装elastic search dokcer中安装elastic search （1）下载ealastic search和kibana docker pull elasticsearch:7.6.2 docker pull kibana:7.6.2 （2）配置 mkdir -p /mydata/elasticsearch/config mkdir -p /mydata/elasticsearch/data echo "http.host: 0.0.0.0" >
ElasticSearch:Term(s)QueryBuilder和MatchQueryBuilder区别
你听得到
09-04 1万+
TermQueryBuilder： 词条查询是ElasticSearch的一个简单查询。它仅匹配在给定字段中含有该词条的文档，而且是确切的、未经分析的词条。term查询会查找我们设定的准确值。term查询本身很简单，它接受一个字段名和我们希望查找的值。 TermsQueryBuilder： 词条查询（Term Query）允许匹配单个未经分析的词条，多词条查询（Terms Query）可以用...
elasticsearch 主键字段_「Java」 - SpringBoot & ElasticSearch
weixin_39665060的博客
11-29 312
一、ES安装安装ES，以及可视化工具，参考https://zhuanlan.zhihu.com/p/63618967。二、spring-data-elasticsearch访问ES在没有Spring Boot之前Java接入ElasticSearch非常痛苦，需要对接链接资源、进行列封装等操作。Spring Boot在spring-data-elasticsearch的基础上进行了封装，让Spri...
ElasticSearch+SpringBoot聚合、分组、排序、分页、10000条查询限制及遇到的问题
qq_40749830的博客
09-28 1万+
一、SQL转换 Select From Where and or not Group by Having Order by 1、单条件查询 Select from book where name = “小明” 精确匹配 QueryBuilders.matchQuery("name",”小明”); 模糊查询 //1.常用的字符串查询 Select from book where name like “%小%” QueryBuilders.queryStringQuery("fieldValue"
Elasticsearch 客户端的版本 7.6.2 聚合函数使用
不吃肥肉的傲寒
01-08 1243
Elasticsearch 客户端的版本 7.6.2 聚合函数使用 最近公司使用es查询数据,各种聚合，图表。使用RestHighLevelClient java客户端。 这里记录一下es的聚合函数使用。 springboot 版本 2.3.0.RELEASE <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-da
Elasticsearch系统学习（四）-简单查询及聚合函数
bangmozuan5680的博客
09-02 587
一、ES简单查询查询主要有如下几种：1、query string search 2、query DSL 3、query filter 4、full-text search 5、phrase search 6、highlight search1.1、query string search适用于临时的在命令行使用一些工具，比如curl，快速的发出请求，来检索想要的信息；但是如果查询请求很复杂...
Elasticsearch Java API Client filter查询
最新发布
11-18
<think> 我们参考了用户提供的引用内容，其中引用[1]和引用[4]都涉及到了filter查询（即过滤查询）的示例。但是请注意，用户使用的是旧版本的TransportClient（在Elasticsearch 7.x之后已被弃用，8.x已移除）。而用户当前的问题是关于Elasticsearch Java API Client（8.x+版本）的，因此我们需要使用新的Java API Client来实现filter查询。 在新版的Elasticsearch Java API Client中，查询和过滤已经合并，因为过滤（filter）在ES中已经作为布尔查询（bool query）的一部分，并且可以利用查询缓存。我们通常使用布尔查询的filter子句来实现过滤。 下面我们将使用Elasticsearch Java API Client（8.x）来实现一个filter查询，类似于引用[1]中的例子：在索引中过滤出名为"zhangsan"的文档。 ### 步骤： 1. 构建一个布尔查询，其中filter子句使用term查询来精确匹配"name"字段为"zhangsan"的文档。 2. 执行搜索请求。 3. 处理搜索结果。 ### 示例代码： ```java import co.elastic.clients.elasticsearch.ElasticsearchClient; import co.elastic.clients.elasticsearch.core.SearchRequest; import co.elastic.clients.elasticsearch.core.SearchResponse; import co.elastic.clients.elasticsearch.core.search.Hit; import co.elastic.clients.elasticsearch.core.search.HitsMetadata; import co.elastic.clients.elasticsearch.core.search.TotalHits; import co.elastic.clients.elasticsearch.core.search.TotalHitsRelation; import co.elastic.clients.json.JsonData; import co.elastic.clients.json.jackson.JacksonJsonpMapper; import co.elastic.clients.transport.ElasticsearchTransport; import co.elastic.clients.transport.rest_client.RestClientTransport; import org.apache.http.HttpHost; import org.elasticsearch.client.RestClient; import java.io.IOException; import java.util.ArrayList; import java.util.List; public class FilterQueryExample { public static void main(String[] args) throws IOException { // 创建ES客户端 RestClient restClient = RestClient.builder( new HttpHost("localhost", 9200) ).build(); ElasticsearchTransport transport = new RestClientTransport( restClient, new JacksonJsonpMapper() ); ElasticsearchClient client = new ElasticsearchClient(transport); // 执行filter查询 List<String> results = queryByFilter(client, "your_index_name"); // 输出结果 for (String result : results) { System.out.println(result); } // 关闭客户端 restClient.close(); } /** * 使用filter方式查询数据（新版API） * @param client Elasticsearch客户端 * @param index 索引名 * @return 匹配文档的source字符串列表 */ public static List<String> queryByFilter(ElasticsearchClient client, String index) throws IOException { // 构建查询：布尔查询的filter子句 SearchResponse<Object> response = client.search(s -> s .index(index) .query(q -> q .bool(b -> b .filter(f -> f .term(t -> t .field("name") .value("zhangsan") ) ) ) ), Object.class // 这里使用Object.class，因为我们直接获取_source字符串 ); List<String> docList = new ArrayList<>(); HitsMetadata<Object> hits = response.hits(); TotalHits total = hits.total(); if (total != null && total.value() > 0) { for (Hit<Object> hit : hits.hits()) { // 将_source转换为字符串（因为我们不知道具体的类型，这里用JsonData） if (hit.source() != null) { // 由于我们使用Object.class，hit.source()返回的是Map，我们可以将其转为JSON字符串 // 或者，如果我们想直接获取_source字符串，可以使用低级客户端的方式，但这里高级客户端没有直接提供。 // 替代方案：我们可以使用带有JsonpMapper的解析器来将source转换为字符串，但这样比较麻烦。 // 另一种方法：我们可以在搜索请求中指定返回_source作为字符串？但是高级客户端没有这个选项。 // 因此，我们可以改变方法：使用一个通用的Map来接收，然后序列化为字符串，或者使用具体的实体类。 // 这里我们采用折中方式：如果我们的实体类未知，我们可以使用JsonData来包装 // 但我们在请求时使用了Object.class，所以这里hit.source()是Map，我们可以用JSON库转成字符串 // 这里为了简单，使用Jackson将Map转换为字符串（需要引入jackson-databind） // 但是，为了减少依赖，我们也可以直接输出Map，或者使用JsonData的toString()方法（但格式可能不是标准的JSON字符串） // 注意：如果使用JsonData，可以这样： // JsonData source = hit.source(); // 但是我们在查询时指定了Object.class，所以这里我们不能直接得到JsonData。 // 因此，我们调整一下：使用JsonData作为源的类型 // 重新构建查询请求，将结果类型指定为JsonData } } } // 由于上面获取source字符串的方式需要调整，我们重新写一个方法，使用JsonData作为文档类型 // 下面我们重新实现一个更合适的方法 return docList; } // 改进方法：使用JsonData来接收_source public static List<String> queryByFilterImproved(ElasticsearchClient client, String index) throws IOException { SearchResponse<JsonData> response = client.search(s -> s .index(index) .query(q -> q .bool(b -> b .filter(f -> f .term(t -> t .field("name") .value("zhangsan") ) ) ) ), JsonData.class // 使用JsonData作为_source类型 ); List<String> docList = new ArrayList<>(); for (Hit<JsonData> hit : response.hits().hits()) { // 使用JsonData的toJson()方法可以获取到Json字符串 docList.add(hit.source().toJson()); } return docList; } } ``` ### 说明： 1. **过滤查询**：我们使用布尔查询的`filter`子句，其中包含一个`term`查询，用于精确匹配"name"字段为"zhangsan"的文档。 2. **结果处理**：我们使用`JsonData`作为文档类型，这样可以直接通过`toJson()`方法将文档内容转为JSON字符串。这样处理起来比较方便，不需要预先定义实体类。 3. **注意**：新版的Java API Client是强类型化的，因此我们需要指定搜索结果的类型。如果不想定义具体的实体类，使用`JsonData`是一个灵活的选择。 ### 与旧版TransportClient的区别： - 新版API使用链式调用和函数式编程风格。 - 不再需要区分query和filter，而是统一在布尔查询中使用`must`（必须匹配，影响评分）、`should`（或条件）、`filter`（过滤，不评分）等。 - 过滤条件通常放在布尔查询的`filter`子句中，这样可以利用ES的查询缓存，提高性能。 ### 性能提示： - 过滤查询（filter）不参与评分，因此效率更高，并且结果可以被缓存。 - 在组合查询中，将不参与评分的条件（如范围过滤、精确匹配）放在`filter`子句中，而全文检索等放在`must`或`should`中[^1][^4]。 §§相关问题§§ 1. Elasticsearch Java API Client 中如何组合多个过滤条件？ 2. 布尔查询中`must`、`should`和`filter`有什么区别？ 3. 如何在新版API中实现分页和排序？ 4. 如何通过Java API Client实现聚合（aggregations）查询？ [^1]: 过滤器（Filter）在布尔查询中的应用示例 [^4]: 多条件组合查询的实现方式 </think> # Elasticsearch Java API Client 实现 Filter 查询详解 在 Elasticsearch Java API Client (8.x+) 中，filter 查询是性能优化的重要手段，它不参与评分但能高效过滤文档。以下是完整的实现指南： ## 一、基本 Filter 查询实现 ```java import co.elastic.clients.elasticsearch.ElasticsearchClient; import co.elastic.clients.elasticsearch.core.SearchRequest; import co.elastic.clients.elasticsearch.core.SearchResponse; import co.elastic.clients.elasticsearch.core.search.Hit; public List<String> filterQuery(ElasticsearchClient client, String index) throws IOException { // 构建 term filter 精确匹配 SearchResponse<Object> response = client.search(s -> s .index(index) .query(q -> q .bool(b -> b .filter(f -> f .term(t -> t // term 过滤器 .field("name") .value("zhangsan") ) ) ) ), Object.class // 使用 Object 类型接收原始 JSON ); List<String> results = new ArrayList<>(); for (Hit<Object> hit : response.hits().hits()) { // 获取文档原始 JSON 字符串 results.add(hit.source().toString()); } return results; } ``` ## 二、组合多条件 Filter 查询 ```java // 组合多个过滤条件 SearchResponse<Object> response = client.search(s -> s .index(index) .query(q -> q .bool(b -> b .filter( f -> f.term(t -> t.field("status").value("active")), // 条件1 f -> f.range(r -> r.field("price").gte(JsonData.of(100))) // 条件2 ) .must(m -> m.match(ma -> ma.field("description").query("高性能"))) // 评分查询 ) ), Object.class ); ``` ## 三、Filter 查询最佳实践 ### 1. 性能优化技巧 - **Filter 上下文**：将不参与评分的条件放入 `filter` 子句 - **缓存利用**：ES 会自动缓存常用 filter 结果 - **组合顺序**：将最具限制性的 filter 放在前面 ```java // 优化后的组合查询 bool(b -> b .filter(f -> f.term(t -> t.field("category").value("electronics"))) // 高选择性条件 .filter(f -> f.range(r -> r.field("stock").gt(JsonData.of(0)))) // 中等选择性 .must(m -> m.match(ma -> ma.field("name").query("手机"))) // 评分查询 ) ``` ### 2. 特殊 Filter 类型 ```java // 范围过滤器 filter(f -> f.range(r -> r .field("create_time") .gte(JsonData.of("2023-01-01")) .lte(JsonData.of("2023-12-31")) )) // 存在性检查 filter(f -> f.exists(e -> e.field("tags"))) // 多值匹配 filter(f -> f.terms(t -> t .field("color") .terms(v -> v.value(List.of("red", "blue"))) )) ``` ## 四、与传统 TransportClient 对比 | 特性 | 旧版 TransportClient | 新版 Java API Client | |------|----------------------|---------------------| | 语法风格 | Builder 模式 | 函数式 DSL | | 类型安全 | 弱类型 | 强类型检查 | | 版本兼容 | ES 7.x 及之前 | ES 8.x+ | | 连接管理 | 需手动管理 | 自动连接池 | | 异步支持 | 有限 | 完善异步API | > **迁移提示**：新版 API 将 filter 整合到 bool 查询中，不再有单独的 filter 方法[^1][^4]。 ## 五、错误处理与调试 ```java try { SearchResponse<Object> response = client.search(...); // 检查是否有分片失败 if (response.shards().failed() > 0) { for (ShardFailure failure : response.shards().failures()) { System.err.println("分片失败: " + failure.reason()); } } } catch (ElasticsearchException e) { // 处理ES特定异常 System.err.println("ES错误: " + e.getMessage()); } catch (IOException e) { // 处理IO异常 System.err.println("网络错误: " + e.getMessage()); } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值