java对mongo的一些去重、分组聚合、分页查询等操作

最新推荐文章于 2025-05-30 11:11:05 发布

小彬00

最新推荐文章于 2025-05-30 11:11:05 发布

阅读量1.9w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Java web mongo 去重统计分组统计文章标签： java mongo 去重分页分组聚合

本文链接：https://blog.youkuaiyun.com/u010831352/article/details/73498518

Java 同时被 3 个专栏收录

4 篇文章

订阅专栏

web

2 篇文章

订阅专栏

mongo

1 篇文章

订阅专栏

本文介绍如何使用MongoDB的distinct方法去除重复数据，并演示了如何利用aggregation进行分组聚合统计，还提供了高效的分页查询方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

去重:

通过distinct方法我们可以对指定字段进行去重，在mysql也有这个关键字

DBObject query = new BasicDBObject();
mongoTemplate.getCollection("collectionName").distinct("去重字段名",query)

分组聚合:

利用aggregation对字段的不同值数量进行统计，例如如下:

统计字段为content，别名为value

Aggregation aggregation = Aggregation.newAggregation(Aggregation.group("Content").count().as("value"));
//查询条件
Criteria criteria = new Criteria().where("条件一").is("条件一");criteria.and("条件二").is("条件二");
aggregation.match(criteria);List<Map> maps = mongoTemplate.getCollection("collectionName").aggregate(aggregation);

另一种写法

Criteria criteria = new Criteria().where("条件一").is("条件一");criteria.and("条件二").is("条件二");Aggregation.sort(sort), Aggregation.limit(10)
Aggregation aggregation = Aggregation.newAggregation(Aggregation.match(criteria),Aggregation.group("Content").count().as("value"),Aggregation.sort(sort), Aggregation.limit(10));
List<DBObject> pvs =mongoTemplate.aggregate(aggregation, "collectionName", DBObject.class).getMappedResults();

mongo的分页查询:

直接使用skip()加limit()可以达到分页的效果，但是在数据量大的情况下，此方法性能欠妥

所有我的优化如下:记录上一次最后一条记录的id，在下一页的查询将其作为一个查询条件，查询大于此id的即可，sort排序设置值为-1表示降序，1为升序。

DBObject query = new BasicDBObject();
query.put("条件一","条件一");
DBCursor dbCursor;
if(page == 1 || page == 0 || StringUtil.isStrEmpty(lastId)) {
    dbCursor = mongoTemplate.getCollection(appid).find(query).sort(new BasicDBObject("name", -1)).skip(size * (page - 1)).limit(size);
}else{
    BasicDBObject decoment = new BasicDBObject("$gt",new ObjectId(lastId));
    query.put("_id",decoment);
    dbCursor = mongoTemplate.getCollection(appid).find(query).sort(new BasicDBObject("name", -1)).skip(size * (page - 1)).limit(size);
}
return dbCursor.toArray();