mongoTemplate查询大数据过慢

最新推荐文章于 2024-03-11 18:11:26 发布

weixin_30535167

最新推荐文章于 2024-03-11 18:11:26 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

文章标签： java 大数据数据库

原文链接：http://www.cnblogs.com/exmyth/p/10770964.html

本文对比了两种不同的MongoDB查询方式：使用Java的MongoTemplate API和原生的DBObject查询。在大数据量下，原生查询配合手动映射实体类的方法展现出显著的性能优势，尤其是在25万条文档中筛选4万条时，耗时从80秒降低到了1秒以内。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先上两段代码
代码一

Query query = new Query();
queryAfter.addCriteria(Criteria.where("id").in(idList));
queryAfter.addCriteria(Criteria.where("time").gte(startTime).lte(endTime));
List<TestEntity> lists = mongoTemplate.find(queryBefore,TestEntity.class);

代码二

DBObject query1 = new BasicDBObject(); //setup the query criteria 设置查询条件
query1.put("id", new BasicDBObject("$in", idList));
query1.put("time", (new BasicDBObject("$gte", startTime)).append("$lte", endTime));
DBCursor dbCursor =mongoTemplate.getCollection("testEntity").find(query1);
List<TestEntity> list=new ArrayList<>();
while (dbCursor.hasNext()){
DBObject object=dbCursor.next();
TestEntity te=new TestEntity();
te.setId(object.get("_id").toString());
te.setTime((Date) object.get("time"));
list.add(te);
}
逻辑很简单，从testEntity集合中根据id列表和开始结束时间进行文档筛选，但是在大数据量下，差别太大了！
比如testEntity集合有25万条文档，查询出4万条文档转换成TestEntity实体类集合，第一种直接转换成实体要80秒，而第二种耗时1秒不到！我一度还以为是mongo的问题，后来才定位到是代码的坑！

所以数据量大的时候还是用原生查询手动映射成实体类比较快！

转载于:https://www.cnblogs.com/exmyth/p/10770964.html