优化limit分页（延迟关联）

最新推荐文章于 2025-04-17 09:48:09 发布
原创 最新推荐文章于 2025-04-17 09:48:09 发布 · 1.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了MySQL分页查询中limit指令存在的效率问题，并提出了两种优化方案：一是通过延迟关联来减少查询开销；二是利用特定SQL语句提高查询速度。实测数据显示，这两种方法在面对大量数据时能显著提升查询性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

limit'分页有一个问题就是当偏移量较大时查询遍历的数据越多，效率会逐渐降低，例如limit 1000,10这样的查询这时MYSQL需要查询出1020条记录然后只返回最后20条，前面的1000条记录都会被抛弃，代价较高。如果每个分页被访问的数据频率都相同要优化这种查询要么是在页面中限制分页的数量要么是优化大偏移量的性能。


优化此类分页查询的最简单的一个办法就是尽可能的使用索引覆盖扫描，而不是查询所有的列。然后根据需要做一次关联操作再返回所需的列，对于偏移量很大的时候，这样做的效率会提升很大。以下面的查询作为示例，以主键info_id（主键）作为覆盖的索引

目前表的数据总量是90122条数据

接下来我们进行几个分页数据的测试与对比

一：首先是第五十条数据之后获取20条

普通用时0.007s


延迟关联用时0.003s



二：首先是第五十条数据之后获取5000条

普通用时0.046s


延迟关联用时0.007s

三：首先是第五十条数据之后获取50000条

普通用时1.131s

延迟关联用时：0.043s

还有另外一种方式select info_id,info_oldNO,info_title from  zb_projectinfo where info_id >(select info_id from  zb_projectinfo limit 50000,1 )limit 20这样的语句和延迟关联性能差距不大




还有另外一种方式

mysql如何优化limit分页
java专栏
04-15 1449
进行分页查询时，随着数据量的增长和偏移量（OFFSET）的增大，查询性能可能会显著下降，特别是在处理大偏移量时，数据库需要扫描并丢弃大量不需要的行，造成不必要的资源消耗。：如果查询只涉及到索引中已包含的列（即“覆盖索引”），数据库可以直接从索引中获取所需数据，而无需访问实际的数据行，大大减少了I/O操作。：对于复杂查询或数据量巨大时，可以预先计算并存储部分结果，如每日、每周的统计数据，或特定查询结果。：对于非常大的偏移量，可以从尾部开始向前扫描索引，利用索引的有序性获取所需数据。
MySQL 数据库 ：区分度(散列性/选择性) 的计算公式、索引规约、利用延迟关联或者子查询优化超多分页场景、 基于键集分页方法，处理时间分页数据重复的问题、高效率地导出大量数据的流水数据报表
专注于计算机研发知识和资讯分享
01-14 445
索引物理文件全扫描，速度非常慢，这个 index 级别比较 range 还低，与全表扫描是小巫见大巫。至少要达到 range 级别，要求是 ref 级别，如果可以是 const 最好。说明：存在非等号和等号混合判断条件时，在建索引时，请把等号条件的列前置。那么即使c 的区分度更高，也必须把 d 放在索引的最前列，即建立组合索引。防止因字段类型不同造成的隐式转换，导致索引失效。，a 列的几乎接近于唯一值，那么只需要单建。反例： explain 表的结果，
MySQL中的limit分页优化
coco3600的博客
12-18 2241
MySQL中的limit分页优化 MySQL的limit优化 mysql的分页比较简单，只需要limit offset,...
MySQL 优化Limit分页
记录创业路上的一些想法
08-02 2850
limit 优化
Limit分页优化
t2337025的博客
05-19 333
1. 直接用limitstart,count分页语句，也是我程序中用的方法： select*fromproductlimitstart,count 当起始页较小时，查询没有性能问题，我们分别看下从10，100，1000，10000开始分页的执行时间（每页取20条），如下： select*fromproductlimit10,20 0.016秒 se...
大数据量limit分页优化
qq_28171173的博客
04-09 2810
背景 在通常的业务场景中，分页一般是使用MySQL提供的 limit 来实现从数据库中获取指定偏移量的数据行。在数据量较小的场景中，并没有太大的问题，但当数据量膨胀到一定程度，获取靠后的分页数据时，性能下降就会特别的大。 原因在于MySQL需要根据偏移量扫描出所有符合的数据，然后再从中取分页记录数返回，其余数据全部丢弃。如 select * from t limit 100000, 10; MySQL需要扫描 100010 行数据并返回最后的10条。 解决方案 1.限制分页数量（减少...
MySQL延迟关联性能优化方法
09-10
MySQL延迟关联是一种性能优化策略，尤其适用于处理大数据量的排序和分页查询。在上述问题中，业务数据库CPU使用率高，查询效率低下，原因是执行了一个包含`ORDER BY`和`LIMIT`的查询，这种查询在大数据量下性能消耗...
MySQL 8.0 Limit原理详解与大分页优化实战
最新发布
🚩 Flag：今年绝不写屎山代码（去年也是这么说的）
04-17 1112
优化方法适用场景优点缺点覆盖索引 + 延迟关联需要跳转任意页通用性强，显著减少IO需索引支持游标分页仅需连续翻页（如瀑布流）无offset，性能最优无法跳转任意页预计算偏移量高频访问的固定分页（如热门页）查询极快维护成本高，数据需稳定最佳实践优先使用游标分页，尤其是C端用户场景。必须使用offset时，通过覆盖索引减少回表。定期分析慢查询日志，针对性优化高频分页操作。
LIMIT分页优化
weberhuangxingbo的博客
12-18 364
  在系统中需要分页的操作通常会使用limit加上偏移量的方法实现，同时加上合适的order by 子句。如果有对应的索引，通常效率会不错，否则MySQL需要做大量的文件排序操作。 一个非常令人头疼问题就是当偏移量非常大的时候，例如可能是limit 10000,20这样的查询，这是mysql需要查询10020条然后只返回最后20条，前面的10000条记录都将被舍弃，这样的代价很高。如果所有的页...
mysql分页之limit优化技巧
03-20
本文档针对mysql分页之limit慢的问题，使用联合索引在大数据量的情况下优化limit分页的性能
limit分页优化
Reiter的博客
08-01 1321
mysql 查询使用select命令，通常配合limit ， offset参数可以读取指定范围的记录，我们经常用来分页。 但是，你有发现吗？ 问题：当 offset （偏移量）越大时，sql 的查询速度就越慢。也就是说，当数据很大时： select * from tb_a limit 0, 100; select * from tb_a limit 1000000, 100; ...
mysql limit分页查询效率
weixin_30888707的博客
10-21 150
对于有大数据量的mysql表来说，使用LIMIT分页存在很严重的性能问题。 查询从第1000000之后的30条记录： SQL代码1：平均用时6.6秒 SELECT * FROM `cdb_posts` ORDER BY pid LIMIT 1000000 , 30 SQL代码2：平均用时0.6秒 SELECT * FROM `cdb_posts` WHERE pid >= (SELEC...
Limit 分页查询优化
憧憬的专栏
04-29 2240
1）简单的查询分页；分每页5条 limit [offset],[rows] select t.* from t_topic t LIMIT 90000,10; 对上面的mysql语句说明：limit 90000,10的意思扫描满足条件的90010行，扔掉前面的90000行，返回最后的10行，问题就在这里，如果是limit 100000,100，需要扫描100100行，在一个高并发的应用里，每次查询需要扫描超过10W行，性能肯定大打折扣。文中还提到limit n性能是没问题的，因为只扫描n行。 2）建立id
Limit分页原理-如何优化？
lucky_love816的博客
12-15 2108
limit分页原理 当我们翻到最后几页时，查询的sql通常是：select * from table where column=xxx order by xxx limit 1000000,20。查询非常慢。但是我们查看前几页的时候，速度并不慢。这是因为limit的偏移量太大导致的。MySql使用limit时的原理是（用上面的例子举例）： MySql将查询出1000020条记录。 然后舍掉前面的1000000条记录。 返回剩下的20条记录。 问题：对于有大数据量的mysql表来说，使用LIMIT分页存在
MySql中，LIMIT分页有什么优化方法?
qq_42246139的博客
05-21 414
limit存在问题：用limit查询几百万的数据会读取很慢。解决办法：1、子查询优化法：先找出第一条数据，然后大于等于这条数据的id就是要获取的数据。  缺点：数据必须是连续的，可以说不能有where条件，where条件会筛选数据，     导致数据失去连续性。2、倒排表优化法：倒排表法类似建立索引，用一张表来维护页数，然后通过高效的连接得到数据。 缺点:只适合数据固定的情况，数据不能删除。3、反...
MYSQL limit的优化
utpcb的专栏
12-04 1304
MYSQL的优化是非常重要的。其他最常用也最需要优化的就是limit。mysql的limit给分页带来了极大的方便，但数据量一大的时候，limit的性能就急剧下降。同样是取10条数据select * from yanxue8_visit limit 10000,10和select * from yanxue8_visit limit 0,10就不是一个数量级别的。网上也很多关于limit的五条优化
SQL优化之limit分页（延迟关联）
aa5181的专栏
11-27 328
MySQL分页查询最头疼的问题是偏移量非常大，比如limit 10000,20，就要检索出10020条记录，值返回最后20条，前边的10000行全部抛弃掉。对于检索字段非常多的情况下，效率更为糟糕。 ...
mysql limit优化之延迟关联
xby7437的博客
09-18 735
最近在做一个数据同步功能，从一个200多万的数据表中进行数据清洗，然后根据逻辑再更新回去。 在刚开始做的时候，按照我的分析，应该一个线程去读，然后放到blockingqueue中，多个线程去处理程序就够了。毕竟读并不会很慢，还有索引，只是逻辑处理时候比较慢，因为还要去查别的数据再更新数据。 但是最后我发现，越到最后查询越慢，我多线程写已经变成单线程了（因为线程都在空闲，blockingqueue中无数据），然后我才发现原来是到最后读的满了。越到后面limit分页性能和代价越大（100多万时候查询1000
sql 使用limit实现分页
03-14
<think>嗯，用户想知道如何用SQL的LIMIT关键字实现分页查询。首先，我需要回忆一下LIMIT的基本用法。记得LIMIT后面可以跟一个或两个参数，比如LIMIT 5或者LIMIT 0,5，都是取前五条数据。不过分页的话通常需要两个参数，一个是起始位置，一个是每页的数量。 那具体怎么用呢？比如用户要显示第n页的数据，每页显示m条，那起始位置应该是(n-1)*m。比如第二页，每页10条，起始位置就是10，所以LIMIT 10,10。这样就能跳过前10条，取接下来的10条。 不过要注意的是，不同的数据库系统可能有不同的语法。比如MySQL和PostgreSQL支持LIMIT，但SQL Server用的是TOP，而Oracle可能需要用ROWNUM。不过用户的问题里提到的是LIMIT，所以应该主要针对MySQL或者类似的支持LIMIT的数据库。 然后用户给的引用里提到，引用[1]中的例子是SELECT * FROM goodstype LIMIT startIndex, perPageSize;，这里startIndex应该是起始位置，perPageSize是每页的数量。这样就能实现分页了。不过还要注意参数的传递方式，比如在预处理语句中用问号占位符，防止SQL注入。 另外，引用[2]和[3]提到不用LIMIT的替代方法，比如使用变量或子查询，但用户的问题是关于使用LIMIT的，所以可能需要简单提一下LIMIT的优势，比如简单直接，但也要注意性能问题，比如当offset很大时，可能会影响查询速度。 所以总结步骤应该是： 1. 确定每页显示的记录数（perPageSize） 2. 计算起始索引：startIndex = (当前页码 - 1) * perPageSize 3. 编写SQL语句：SELECT * FROM 表名 LIMIT startIndex, perPageSize; 4. 在应用中动态替换参数，比如用预处理语句。 可能还需要举一个具体的例子，比如页码为2，每页5条，那么startIndex是5，LIMIT 5,5。这样用户更容易理解。 另外，分页查询通常需要知道总记录数，以便计算总页数。这时候可能需要另一个查询，比如SELECT COUNT(*) FROM 表名，然后总页数是总记录数除以perPageSize，向上取整。 还要注意性能优化，比如当offset很大时，使用覆盖索引或者延迟关联等方法提升效率，但用户的问题可能更关注基础用法，这部分可以作为补充。 最后，确保回答结构清晰，分步骤说明，并给出示例，同时引用相关的参考资料，比如引用[1]中的例子。如果有其他注意事项，比如不同数据库的差异，也可以简要提及，但用户主要问的是LIMIT的使用，所以重点放在那上面。</think>### 如何用 SQL 的 LIMIT 实现分页查询？ #### 分页原理与实现步骤 1. **分页公式** 分页查询的核心是通过跳过前 $N$ 条记录，取出后 $M$ 条记录。公式为： $$ \text{起始索引} = (\text{当前页码} - 1) \times \text{每页数量} $$ 例如：查询第 2 页（每页 10 条）时，起始索引为 $(2-1) \times 10 = 10$。 2. **LIMIT 语法** SQL 中 `LIMIT` 的两种用法： - `LIMIT perPageSize OFFSET startIndex`（标准语法） - `LIMIT startIndex, perPageSize`（MySQL 简写）[^1][^3] #### 具体实现示例 假设需要从 `goods` 表中分页查询商品信息（每页 5 条）： ```sql -- 查询第 1 页（前 5 条） SELECT * FROM goods LIMIT 0, 5; -- 查询第 2 页（跳过前 5 条，取接下来的 5 条） SELECT * FROM goods LIMIT 5, 5; ``` #### 动态参数传递（以预处理语句为例） ```sql -- 使用占位符 ? 动态设置参数 SELECT * FROM goods LIMIT ?, ?; ``` 在程序中传入参数时，第一个参数是起始索引，第二个参数是每页数量。 #### 注意事项 1. **性能问题** 当 `startIndex` 较大时（如第 1000 页），`LIMIT` 可能导致全表扫描。优化方法包括使用索引覆盖或记录上次查询的边界值[^2]。 2. **数据库差异** - MySQL、PostgreSQL 支持 `LIMIT` - SQL Server 使用 `OFFSET FETCH` - Oracle 使用 `ROWNUM`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值