mongodb 基于3千万条数据, 查询30万结果集,分页问题

数据库查询优化实践
本文针对一个包含3千万条记录的数据表,在查询结果集为30万条的情况下进行数据库查询优化。面对分页查询效率低下问题,文章探讨了索引优化及查询方式改进策略,并提出一种特殊的查询方式来提高查询速度。

场景:

1 数据表容量 3千万

2 查询结果集: 30万

3 skip  limit(200) 分页, 存在排序

4 内存控制大小 4

 

现场:

 当超过30万条数据之后,每次分页消耗时间为 2.5s

当skip(100000)时,查询消耗时间为25s ,数据量越大,消耗时间越多。

 

查询索引:

执行查询分析:

 

优化方向:

1 索引优化

2 查询方式优化

查询第一页最后一条数据,则通过升序条件 &gt , 每次查询都是第一页数据。 理论上来说, 查询到越后面越快

 

 

 

转载于:https://my.oschina.net/u/728453/blog/1817039

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值