【mysql】1000w数据量的分页查询SQL,如何优化提升性能?

优化场景

当表数据量非常大时,需要进行分页查询如果慢的时候,可以考虑优化下。
假设一页展示10条,查询第10w条后面的数据时候变慢了…
优化思路:先找到第10w+1条的位置,然后将这个位置作为where条件查询的起始位置进行查询。

示例:

普通分页SQL:

-- 从第6条查,查出5条

SELECT acct_code  FROM `tn_md_cust_base` limit 5,5

在这里插入图片描述

优化分页SQL:

-- 先找到第6条编码位置,作为比较条件,从这个位置开始查询,查5条

SELECT
在处理大数据量分页查询时,传统的 `LIMIT` 和 `OFFSET` 方法可能会导致性能问题。这是因为当 `OFFSET` 值较大时,MySQL需要跳过大量的记录,这会导致查询变慢。 ### 解决方案:使用主键或唯一索引进行分页 假设我们有一个名为 `users` 的表,并且该表有一个自增主键 `id`。我们可以利用这个主键来进行更高效的分页查询。 #### 示例代码: ```sql -- 查询第一页的数据 SELECT * FROM users WHERE id > 0 ORDER BY id LIMIT 10; -- 查询第二页的数据 SELECT * FROM users WHERE id > 10 ORDER BY id LIMIT 10; -- 查询第三页的数据 SELECT * FROM users WHERE id > 20 ORDER BY id LIMIT 10; ``` ### 解释: - **`id > last_seen_id`**: 这里的 `last_seen_id` 是上一页最后一记录的主键值。通过这种方式,我们避免了使用 `OFFSET`,从而提高了查询效率。 - **`ORDER BY id`**: 确保数据按照主键排序,这样可以保证分页结果的顺序性。 - **`LIMIT`**: 每次只获取固定数量的记录。 这种方法的优点是,随着分页的深入,查询性能不会显著下降,因为它不需要跳过大量的记录。 ### 另一种优化方法:使用覆盖索引 如果查询中只需要返回某些字段,而不是整个行,可以通过创建覆盖索引来提高查询速度。覆盖索引是指查询的所有字段都可以从索引中直接获取,而无需访问实际的表数据。 #### 示例代码: ```sql -- 创建覆盖索引 CREATE INDEX idx_users_name_age ON users (name, age); -- 使用覆盖索引进行分页查询 SELECT name, age FROM users WHERE id > last_seen_id ORDER BY id LIMIT 10; ``` ### 解释: - **`CREATE INDEX`**: 创建一个包含 `name` 和 `age` 字段的索引。 - **`SELECT name, age`**: 查询时只选择索引中的字段,避免访问实际的表数据。 这种优化方式减少了磁盘I/O操作,从而提高了查询效率。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码元宋大米

感谢小主大赏,留言可进互助群~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值