[数据库]MongoTemplate之分组分页复合条件查询

本文介绍如何在MongoDB中实现分组查询与分页查询,包括使用Java进行条件构造、分组及结果处理的方法。文章通过具体代码示例展示了如何组合多个查询条件并执行分组操作,同时提供了基于MongoDB的分页查询实现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

mongodbsql 文档地址: https://docs.mongodb.com/manual/reference/operator/update/

废话不多说,直接上代码


情景一:分组查询

 public Page<CourseDetail> listCourseDetails(QueryCourseDetailModel queryModel) {
​
        //条件一 where gradeId in (集合) and mark=true
        Criteria criteria = Criteria.where("gradeId").in(gradeIds).and("mark").is(true);
if (null != status && status.size() > 0) {
            Criteria criteriaChild = new Criteria();
            //条件二  criteriaChild 条件查询 ( teacherCommentStatus = XX or parentsReplyTeacherStatus =XX  )
            criteriaChild.orOperator(Criteria.where("teacherCommentStatus").in(status), Criteria.where("parentsReplyTeacherStatus").is(replayStatus));
        }
​
        //拼接最后语句 where gradeId in (集合) and mark=true  and ( teacherCommentStatus = XX or parentsReplyTeacherStatus =XX  )
        criteria.andOperator(criteriaChild);

        //分组条件
        GroupBy groupBy = new GroupBy("gradeId")
                .initialDocument("{ count: 0 }")
                .reduceFunction("function (doc,pre){pre.count +=1 ;}");

        //使用 mongoTemplate.group 分组查询
        GroupByResults groupByResults = mongoTemplate.
                group(criteria, "homework", groupBy, Homework.class);

        //获取结果
        BasicDBList list = (BasicDBList) groupByResults.getRawResults().get("retval");
        list.stream().map(map -> {
            BasicDBObject obj = (BasicDBObject) map;
            ......
            return obj;
        }).collect(Collectors.toList());
return list;

        ​}

情景二: 分页查询

public Page<CourseDetail> listCourseDetails(QueryCourseDetailModel queryModel) {
​
        //创建排序模板Sort
        Sort sort = new Sort(Sort.Direction.DESC, "creationDate");//创建分页模板Pageable 
        Pageable pageable = new PageRequest(queryModel.getPageStart(), queryModel.getPageSize(), sort);

        //创建查询条件对象 
        Query query = new Query();//条件gradeId =XX
        Criteria criteria = Criteria.where("gradeId").is(queryModel.getGradeId());

        //条件 and time > XX 
        if (!StringUtil.isEmpty(queryModel.getStartCourseTime())) {
            criteria.and("time").gt(queryModel.getStartCourseTime());
        }​
        //条件 and time < XX if(! StringUtil.isEmpty(queryModel.getEndCourseTime())){
        criteria.and("time").lt(queryModel.getEndCourseTime());

        query.addCriteria(criteria);//mongoTemplate.count计算总数 
        long total = mongoTemplate.count(query, CourseDetail.class);

        // mongoTemplate.find 查询结果集
        List<CourseDetail> items = mongoTemplate.find(query.with(pageable), CourseDetail.class);items.forEach(courseDetail -> {
            courseDetail.setTeacherUnReplaySize(homeworkRepository.countByGradeIdAndParentsReplyTeacherStatusAndCourseStartTimeAndMarkTrue(courseDetail.getGradeId(), PARENTS_REPLY_TEACHER_STATUS.UNANSWERED, courseDetail.getCourseStartTime().getTime()));
        });
        
        return new PageImpl(items, pageable, total);
        
        ​}

<think>好的,我现在需要帮助用户解决如何使用MongoTemplate在MongoDB中实现关联查询、条件过滤和分页的问题。用户之前已经得到了一个基于Go语言的解决方案,但现在他们想使用Java的MongoTemplate来实现同样的功能。我需要结合用户提供的引用内容,特别是引用1、3、4中的信息,来构造一个合适的回答。 首先,我需要回顾MongoTemplate的功能。根据引用1,MongoTemplate提供了便捷的方法如save、insert、update、remove,并且支持复杂查询、排序和聚合管道。因此,使用MongoTemplate的聚合管道(Aggregation)是实现关联查询的关键,因为MongoDB本身不支持跨集合的JOIN操作,必须通过$lookup来实现类似功能。 接下来,用户需要条件过滤和分页。引用3提到可以使用Query对象进行条件过滤,设置字段包含、排序、分页参数(如skip和limit)。而引用4讨论了分页查询的挑战,尤其是在表情况下的处理,但用户当前的问题可能不需要表,所以可以暂时忽略这部,专注于普通分页的实现。 用户的问题是如何结合关联查询、条件过滤和分页。在之前的回答中,提到了使用聚合管道中的$lookup进行联表查询,然后使用$match进行过滤,最后使用$skip和$limit进行分页。现在需要用MongoTemplate来实现这一流程。 首先,构建聚合管道。在Java中,可以使用Aggregation类来构建管道阶段。例如,$lookup阶段需要指定from(关联集合)、localField(本地字段)、foreignField(外部字段)、as(结果字段)。然后使用$match来添加过滤条件,比如状态为active。接下来是排序($sort),分页需要$skip和$limit。此外,为了获取总记录数,可能需要单独的count查询,或者在聚合中使用$facet来处理,但这样可能复杂一些。根据引用3中的示例,用户可能需要先执行分页查询,然后单独执行count查询,这样更简单。 然后,考虑到性能优化,如索引的创建,引用中提到的在关联字段和排序字段上建立索引,这在Java中同样适用,可以通过MongoDB的命令或Spring Data的注解来创建。 另外,分页参数的处理,比如page和pageSize,需要转换为skip的值,即(page-1)*pageSize。同时,排序需要指定字段和方向,如按创建时间降序。 可能的代码结构:构建Aggregation对象,包含lookup、unwind、match、sort、skip、limit等阶段,然后使用MongoTemplate的aggregate方法执行查询。同时,使用MongoTemplate的count方法获取符合条件的总数,用于分页元数据。 需要注意的是,在聚合管道中,分页处理可能会影响性能,尤其是当skip值较大时,引用中提到的优化建议,如避免大skip值,使用基于游标的分页,但用户可能需要基本的分页实现,因此先提供常规方法,再给出优化建议。 还需要处理结果,将聚合后的结果映射到Java对象,可能需要使用AggregationResults类来获取结果列表。 此外,引用3中的示例展示了使用Query对象进行find查询,但关联查询必须使用聚合,所以这里需要明确区聚合和普通查询的使用场景。 最后,确保代码示例正确,符合MongoTemplate的用法,比如正确使用Aggregation.newAggregation()方法,各个阶段的创建,以及处理分页参数。 可能遇到的疑问点:是否需要使用$facet来同时获取数据和总数,但根据引用3,用户可能更倾向于查询数据和总数,因为$facet可能在处理大数据量时效率不高,而查询更灵活,也更容易维护。 因此,最终的解决方案应该是构建聚合管道处理关联查询、过滤和分页,然后单独执行count查询获取总数。同时,提供性能优化建议,如索引、避免大skip值等。</think>根据您提供的引用内容[^1][^3][^4]和实际开发需求,以下是使用`MongoTemplate`实现关联查询+条件过滤+分页的完整方案: --- ### 一、基础实现步骤 #### 1. 创建聚合管道 ```java // 构建聚合条件 Aggregation aggregation = Aggregation.newAggregation( // 关联查询(核心) Aggregation.lookup() .from("related_collection") // 关联集合名 .localField("local_field") // 主表关联字段 .foreignField("foreign_field")// 关联表对应字段 .as("joined_data"), // 结果字段名 // 展开关联结果数组 Aggregation.unwind("joined_data"), // 条件过滤(根据引用[3]优化) Aggregation.match(Criteria.where("status").is("active") .and("joined_data.type").in("A","B")), // 排序(引用[3]排序方案) Aggregation.sort(Sort.Direction.DESC, "create_time"), // 分页(根据引用[4]分页逻辑) Aggregation.skip((page-1)*pageSize), Aggregation.limit(pageSize) ); // 执行查询 AggregationResults<Document> results = mongoTemplate.aggregate( aggregation, "main_collection", Document.class); List<Document> dataList = results.getMappedResults(); ``` #### 2. 获取总记录数 ```java // 构建计数查询(单独执行) Aggregation countAggregation = Aggregation.newAggregation( Aggregation.lookup().from("related_collection")..., Aggregation.unwind("joined_data"), Aggregation.match(/*相同过滤条件*/), Aggregation.count().as("total") ); AggregationResults<Document> countResult = mongoTemplate.aggregate( countAggregation, "main_collection", Document.class); long total = countResult.getMappedResults().get(0).getLong("total"); ``` --- ### 二、完整Service层实现 ```java public Page<MyDTO> getPaginatedData(int page, int pageSize, String filter) { // 1. 构建条件 Criteria criteria = Criteria.where("status").is("active") .and("joined_data.value").gte(100); // 组合过滤条件 // 2. 创建聚合管道(引用[3]查询结构优化) Aggregation aggregation = Aggregation.newAggregation( lookup().from("orders").localField("user_id").foreignField("uid").as("order_info"), unwind("order_info", true), // 保留空数组 match(criteria), project().andInclude("name", "email") // 字段投影 .and("order_info.amount").as("orderAmount"), sort(Sort.Direction.DESC, "create_time"), skip((page-1)*pageSize), limit(pageSize) ); // 3. 执行分页查询 List<MyDTO> data = mongoTemplate.aggregate(aggregation, "users", MyDTO.class).getMappedResults(); // 4. 获取总数(优化版) long total = mongoTemplate.count(Query.query(criteria) .limit(10000), "users"); // 限制最大计数范围 return new PageImpl<>(data, PageRequest.of(page, pageSize), total); } ``` --- ### 三、关键优化点 #### 1. 索引优化(基于引用[4]分页经验) ```java // 创建复合索引 mongoTemplate.getCollection("main_collection").createIndex( new Document("local_field", 1) .append("create_time", -1)); ``` #### 2. 分页稳定性处理 ```java // 避免过大skip值(引用[4]分页限制) if(page > 100){ throw new BusinessException("超过最大分页限制"); } // 使用游标分页(替代skip) Query query = Query.query(criteria) .with(Sort.by(Sort.Direction.DESC, "create_time")) .limit(pageSize); if(lastId != null){ // 使用最后一条记录ID定位 query.addCriteria(Criteria.where("_id").lt(lastId)); } ``` --- ### 四、高级场景处理 #### 1. 分页查询(根据引用[4]方案) ```java List<String> collections = Arrays.asList("202301", "202302"); // 动态集合列表 List<Document> finalResult = new ArrayList<>(); for(String collection : collections){ AggregationResults<Document> partial = mongoTemplate.aggregate( aggregation, collection, Document.class); finalResult.addAll(partial.getMappedResults()); if(finalResult.size() >= pageSize) break; // 达到分页量即终止 } return finalResult.stream().limit(pageSize).collect(Collectors.toList()); ``` #### 2. 结果缓存(结合引用[2]架构) ```java @Cacheable(value = "pageCache", key = "#page+'-'+#pageSize") public Page<MyDTO> getCachedPage(int page, int pageSize){ return getPaginatedData(page, pageSize); } ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

源14

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值