mysql limit分页优化方法

本文探讨了MySQL中limit语句的性能优化问题,特别是在大数据量分页查询时的表现。通过对比不同查询方式,提出了一种改进的方法,即先获取offset对应的ID再进行查询,有效提升了查询效率。

MySQL的优化是非常重要的。其他最常用也最需要优化的就是limit。MySQL的limit给分页带来了极大的方便,但数据量一大的时候,limit的性能就急剧下降。

同样是取10条数据 :
  select * from yanxue8_visit limit 10000,10 和 
  select * from yanxue8_visit limit 0,10 
  就不是一个数量级别的。

    注意:如果没有指定where, order等限制,则MYSQL 对select * from table 的执行结果是 会按主键的升序输出结果的。如果有索引,就会以索引有序从小到大输出。

   参考文章:  http://blog.youkuaiyun.com/bigtree_3721/article/details/51339895

     下面是一篇关于limit文章:


  网上也很多关于limit的五条优化准则,都是翻译自MySQL手册,虽然正确但不实用。今天发现一篇文章写了些关于limit优化的,很不错。 
  文中不是直接使用limit,而是首先获取到offset的id然后直接使用limit size来获取数据。根据他的数据,明显要好于直接使用limit。这里我具体使用数据分两种情况进行测试。(测试环境win2033+p4双核 (3GHZ) +4G内存 MySQL 5.0.19) 
  1、offset比较小的时候。 
  select * from yanxue8_visit limit 10,10 
  多次运行,时间保持在0.0004-0.0005之间 
  Select * From yanxue8_visit Where vid >=( 
  Select vid From yanxue8_visit Order By vid limit 10,1 
  ) limit 10 
  多次运行,时间保持在0.0005-0.0006之间,主要是0.0006 
  结论:偏移offset较小的时候,直接使用limit较优。这个显然是子查询的原因。 
  2、offset大的时候。 
  select * from yanxue8_visit limit 10000,10 
  多次运行,时间保持在0.0187左右 
  Select * From yanxue8_visit Where vid >=( 
  Select vid From yanxue8_visit Order By vid limit 10000,1 
  ) limit 10 
  多次运行,时间保持在0.0061左右,只有前者的1/3。可以预计offset越大,后者越优。 
  以后要注意改正自己的limit语句,优化一下MySQL了 
  推荐人评论 
  MySQL的优化是非常重要的。其他最常用也最需要优化的就是limit。MySQL的limit给分页带来了极大的方便,但数据量一大的时候,limit的性能就急剧下降。

MySQL中使用 `LIMIT` 进行分页查询时,随着偏移量(offset)的增加,查询性能可能会显著下降。为了优化此类查询,可以采取以下几种方法: ### 优化方法 1. **使用基于游标的分页(Cursor-based Pagination)** 通过记录上一页最后一条数据的标识(如主键或唯一索引),在下一次查询时使用该标识作为起点,避免使用较大的偏移量。 示例: ```sql SELECT * FROM test WHERE val = 4 AND id > 上一页最大ID ORDER BY id LIMIT 5; ``` 这种方法可以有效减少数据库在处理分页时跳过大量行所带来的性能损耗[^2]。 2. **利用子查询减少扫描行数** 通过子查询获取目标偏移量处的主键值,再结合主键进行查询,可以减少不必要的扫描。 示例: ```sql SELECT * FROM Member WHERE MemberID >= ( SELECT MemberID FROM Member LIMIT 10, 1 ) LIMIT 100; ``` 此方法避免了直接使用较大的 `LIMIT offset, size` 所导致的性能问题[^3]。 3. **选择合适的索引** 确保查询中使用的字段有合适的索引支持,尤其是排序字段和过滤条件字段。使用覆盖索引可以进一步减少回表操作,提高查询效率[^1]。 4. **预计算与缓存** 对于频繁访问的分页数据,可以考虑使用缓存机制(如Redis)存储热门分页的结果,减少对数据库的直接查询压力。此外,也可以通过预计算部分分页结果并存储到临时表中,以加快响应速度[^1]。 5. **数据分片** 如果数据量极大,可以将数据水平分片,将数据分布到多个物理表中,从而减少单个查询需要扫描的数据量。这种方式适用于数据增长迅速且查询压力较大的场景。 6. **调整数据库配置** 根据实际负载情况,适当调整MySQL的配置参数,例如增加缓冲池大小(`innodb_buffer_pool_size`),以提升查询性能。 ### 示例代码 以下是一个基于游标分页的完整SQL示例: ```sql -- 假设上一页最后一条记录的id为1000 SELECT * FROM orders WHERE order_id > 1000 ORDER BY order_id LIMIT 20; ``` 该查询通过 `order_id > 1000` 直接定位到下一页的起始位置,避免了传统 `LIMIT 1000, 20` 的性能问题。 ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值