Elasticsearch Aggregation 多个字段分组统计 Java API实现

本文介绍了一个使用 Java 和 Elasticsearch 进行分组统计的例子,展示了如何统计不同年级和班级的学生数量。通过构建聚合查询并利用 TermsBuilder 实现分组,最终输出每个年级及下属班级的学生数量。

现有索引数据:

index:school

type:student

---------------------------------------------------

{"grade":"1", "class":"1", "name":"xiao 1"}

{"grade":"1", "class":"1", "name":"xiao 2"}

{"grade":"1", "class":"2", "name":"xiao 3"}

{"grade":"1", "class":"2", "name":"xiao 4"}

{"grade":"1", "class":"2", "name":"xiao 5"}

 

Java分组统计年级和班级学生个数,如SQL: SELECT grade,class,count(1) FROM student GROUP BY grade,class;

 

package test;

 

import java.util.Iterator;

import java.util.Map;

 

import org.elasticsearch.action.search.SearchRequestBuilder;

import org.elasticsearch.action.search.SearchResponse;

import org.elasticsearch.action.search.SearchType;

import org.elasticsearch.search.aggregations.Aggregation;

import org.elasticsearch.search.aggregations.AggregationBuilders;

import org.elasticsearch.search.aggregations.bucket.terms.StringTerms;

import org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket;

import org.elasticsearch.search.aggregations.bucket.terms.TermsBuilder;

import org.junit.Test;

 

import utils.NesUtils;

 

public class TestAggregation

{

@Test

public void testAggregation()

{

SearchRequestBuilder srb = NesUtils.getSearcher("school");

srb.setTypes("student");

srb.setSearchType(SearchType.COUNT);

 

TermsBuilder gradeTermsBuilder = AggregationBuilders.terms("gradeAgg").field("grade");

TermsBuilder classTermsBuilder = AggregationBuilders.terms("classAgg").field("class");

 

gradeTermsBuilder.subAggregation(classTermsBuilder);

 

srb.addAggregation(gradeTermsBuilder);

 

SearchResponse sr = srb.execute().actionGet();

 

Map<String, Aggregation> aggMap = sr.getAggregations().asMap();

 

StringTerms gradeTerms = (StringTerms) aggMap.get("gradeAgg");

 

Iterator<Bucket> gradeBucketIt = gradeTerms.getBuckets().iterator();

 

while(gradeBucketIt.hasNext())

{

Bucket gradeBucket = gradeBucketIt.next();

System.out.println(gradeBucket.getKey() + "年级有" + gradeBucket.getDocCount() +"个学生。");

 

StringTerms classTerms = (StringTerms) gradeBucket.getAggregations().asMap().get("classAgg");

Iterator<Bucket> classBucketIt = classTerms.getBuckets().iterator();

 

while(classBucketIt.hasNext())

{

Bucket classBucket = classBucketIt.next();

System.out.println(gradeBucket.getKey() + "年级" +classBucket.getKey() + "班有" + classBucket.getDocCount() +"个学生。");

}

System.out.println();

}

 

}

}

运行完成输出结果

---------------------------------------------------

1年级有5个学生。

1年级2班有3个学生。

1年级1班有2个学生。

Elasticsearch中,使用Java API实现字段的`GROUP BY`分组通常通过聚合功能中的`TermsAggregationBuilder`结合`Script`来完成。与单字段分组不同,多字段分组需要通过脚本(Script)将多个字段组合成一个唯一的键(key),从而实现字段分组统计。 以下是一个使用Elasticsearch Java API实现字段分组的示例代码: ```java import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.script.Script; import org.elasticsearch.script.ScriptType; import org.elasticsearch.script.ScriptType; import org.elasticsearch.script.Script; import org.elasticsearch.search.aggregations.AggregationBuilders; import org.elasticsearch.search.aggregations.bucket.terms.TermsAggregationBuilder; import org.elasticsearch.search.builder.SearchSourceBuilder; import org.elasticsearch.index.query.QueryBuilder; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.index.query.QueryBuilder; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.index.query.QueryBuilder; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.index.query.QueryBuilder; import org.elasticsearch.index.query.QueryBuilder; // 创建查询构建器,这里使用匹配所有文档 QueryBuilder queryBuilder = QueryBuilders.matchAllQuery(); // 使用脚本创建多字段组合的terms聚合 Script script = new Script(ScriptType.INLINE, "painless", "doc['field1.keyword'].value + '-' + doc['field2.keyword'].value", null); TermsAggregationBuilder aggregation = AggregationBuilders.terms("multi_group_by") .script(script) .size(100); // 根据实际数据量调整size // 构建搜索源 SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); sourceBuilder.query(queryBuilder); sourceBuilder.aggregation(aggregation); sourceBuilder.size(0); // 不需要返回具体文档,只返回聚合结果 // 构建搜索请求 SearchRequest searchRequest = new SearchRequest("your_index_name"); searchRequest.source(sourceBuilder); // 执行搜索请求 SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT); // 处理响应结果 Terms multiGroupAggregation = response.getAggregations().get("multi_group_by"); for (Terms.Bucket entry : multiGroupAggregation.getBuckets()) { System.out.println("Key: " + entry.getKey() + " | Doc count: " + entry.getDocCount()); } ``` 上述代码中,通过`Script`将两个字段`field1`和`field2`的值拼接成一个唯一的字符串作为分组的依据,从而实现字段分组统计。使用脚本的方式相比递归求和更高效,且适用于更复杂的分组逻辑[^1]。 在实际应用中,可以根据需求扩展脚本内容,例如添加更多字段、使用不同的分隔符、处理空值等。此外,还可以结合其他聚合类型(如`avg`、`sum`等)对每个分组进行进一步的统计分析。 如果需要更高层级的分组嵌套(如先按字段A分组,再按字段B分组),可以通过`subAggregation`方法添加子聚合,实现多级分组结构。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值