Mysql对千万级数据分页Limit

最新推荐文章于 2024-05-28 09:37:35 发布
最新推荐文章于 2024-05-28 09:37:35 发布
阅读量621 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZL_LSY/article/details/84589223
本文分享了一种通过使用索引和子查询来优化SQL查询的方法，将原始查询耗时从8.5秒降低到了1.11秒。在实际应用中，这种优化技巧很少单独使用，通常会结合分表分库等策略进一步提升效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

废话不多说直接上sql

select * from FCRM_AGREEMENT_INFO LIMIT 6666666,10;  耗时8.5s

改进

可以根据索引来limit

select * from FCRM_AGREEMENT_INFO a inner JOIN (select ID from FCRM_AGREEMENT_INFO LIMIT 6666666,10) b on a.ID=b.ID; 耗时1.11s

 

当然，实际场景用到的很少，基本都会分表分库。

ZL_LSY
关注
mysql千万级数据索引查询_MySQL 千万 级数据量根据（索引）优化 查询 速度
weixin_30905039的博客
01-28 1996
一、索引的作用索引通俗来讲就相当于书的目录，当我们根据条件查询的时候，没有索引，便需要全表扫描，数据量少还可以，一旦数据量超过百万甚至千万，一条查询sql执行往往需要几十秒甚至更多，5秒以上就已经让人难以忍受了。提升查询速度的方向一是提升硬件(内存、cpu、硬盘)，二是在软件上优化(加索引、优化sql；优化sql不在本文阐述范围之内)。能在软件上解决的，就不在硬件上解决，毕竟硬件提升代码昂贵，性价...
mysql limit索引优化_MySQL limit 优化，百万至千万级快速分页：复合索引
weixin_33245735的博客
02-07 602
MySQL性能到底能有多高？用了php半年多，真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望，到现在充满信心！MySql 这个数据库绝对是适合dba级的高手去玩的，一般做一点1万篇新闻的小型系统怎么写都可以，用xx框架可以实现快速开发。可是数据量到了10万，百万至千 万，他的性能还能那么高吗？一点小小的失误，可能造成整个系统的改写，甚至更本系统无法正常运行！好了，不那么多废话了。用...
实现千万级数据的分页显示
09-25
实现千万级数据的分页显示!--可以在5秒内获取1448万条记录里的第1200页的100条记录，雄不？
MyBatis 千万数据表，快速分页
qq_40068304的博客
12-24 699
基本概念 MyBatis 流式查询接口 但构建 Cursor 的过程不简单 方案一：SqlSessionFactory 方案二：TransactionTemplate 方案三：@Transactional 注解 基本概念 流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。 如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有足够的内存时，就...
新技能 MyBatis 千万数据表，快速分页！
2301_77463738的博客
07-04 252
基本概念MyBatis 流式查询接口但构建 Cursor 的过程不简单方案一：SqlSessionFactory方案二：TransactionTemplate方案三：@Transactional 注解。
MySQL limit 分页查询优化（千万级数据）
maidou2917的博客
05-28 2706
MySQL limit 分页查询优化数据表及数据量使用普通limit查询使用优化的limit查询不使用order by desc排序 数据表及数据量 数据表为普通的数据表字段不多两个，数据量为千万级数据量，可以自行百度大量生产sql数据进行测试。 使用普通limit查询 select id from t order by id desc limit 8000000,10; 查询速度为 2.21秒 可以看出来查询速度还是比较慢的 使用优化的limit查询 select id from t where id
MySQL大数据下Limit使用
CUIHUANRUI的专栏
07-28 624
对于一直用Oracle的我，今天可是非常诧异，MySQL中同一个函数在不同数量级上的性能居然差距如此之大。 　　先看表ibmng(id,title,info)  唯一  id key 索引title 　　先看看两条语句： 　　select * from ibmng limit 1000000,10 　　select * from ibmng limit 10,10 　
MySQL 百万级分页优化(Mysql千万级快速分页)
12-15
但在数据达到百万级的时候，这样写会慢死 代码如下: SELECT * FROM table ORDER BY id LIMIT 1000000, 10; 也许耗费几十秒 网上很多优化的方法是这样的 代码如下: SELECT * FROM table WHERE id >= (SELECT id FROM...
mysql千万级数据分页查询性能优化
09-09
综上所述，针对MySQL千万级数据分页查询的性能优化，主要是通过合理使用索引、调整查询语句、数据归档、读写分离、缓存以及预计算等策略，以减少不必要的数据扫描和提高查询效率。在实际应用中，需要根据具体的业务...
MySQL 千万级数据量如何快速分页
12-14
后端开发中为了防止一次性加载太多数据导致内存、磁盘IO都开销过大，经常需要分页展示，这个时候就需要用到MySQL的LIMIT关键字。但你以为LIMIT分页就万事大吉了么，Too young,too simple啊，LIMIT在数据量大的时候极...
mysql limit千万级优化思路细说
qq_41642932的博客
08-24 1万+
首先我们先创建个数据表做测试 表名 test (id(int) , name(var char) , content(text) , pid(int) ) 往里面倒几百万条数据进去做测试。 我们都知道分页是 这样写的 select * from test limit 10,20; 比如每页显示perpage条，当前是第N页； 那么就是这么来写 select * from te...
1000万的 db 数据分页怎么处理？
最新发布
weixin_44416039的博客
05-28 487
针对1000万的数据进行分页处理，一般的做法是采用数据库的 limit 和 offset 语句，将所有数据按照指定的排序字段进行排序，然后根据当前页码和每页显示的数量计算出 offset 和 limit 的值，从而得到当前页需要的数据。但是，对于这么大的数据集，这种做法可能会导致查询效率大大降低和性能问题。综合以上策略，可以在保证查询效率的同时，提高分页性能和查询性能。
SpringBatch系列文章--高阶优化--Mybatis千万级大表的物理分页处理
技术摸索和实践者
01-19 2770
Mybatis物理分页Mybatis SpringBatch物理分页重写MyBatisPhysicsPagingItemReaderMyBatisPhysicsPagingItemReaderMyBatisPhysicsPagingItemReaderBuilder`import org.apache.ibatis.session.SqlSessionFactory;Oracle版本Mybatis版本 看了之前的几篇处理文章，还是很久以前写的了，最近再补一补更加高级的使用场景。 真实的使用场景下会遇到以下场
mysql limit索引优化_Mysql limit 优化，百万至千万级快速分页 复合索引的引用并应用_MySQL...
weixin_39526741的博客
02-07 126
bitsCN.comMySql 这个数据库绝对是适合dba级的高手去玩的，一般做一点1万篇新闻的小型系统怎么写都可以，用xx框架可以实现快速开发。可是数据量到了10万，百万至千万，他的性能还能那么高吗？一点小小的失误，可能造成整个系统的改写，甚至更本系统无法正常运行！好了，不那么多废话了。用事实说话，看例子：数据表 collect ( id, title ,info ,vtype) 就这4个字段，...
mysql limit索引变_Mysql limit 优化，百万至千万级快速分页 复合索引的引用并应用于轻量级框架...
weixin_35954566的博客
01-20 155
MySql 这个数据库绝对是适合dba级的高手去玩的，一般做一点1万篇新闻的小型系统怎么写都可以，用xx框架可以实现快速开发。可是数据量到了10万，百万至千万，他的性能还能那么高吗？一点小小的失误，可能造成整个系统的改写，甚至更本系统无法正常运行！好了，不那么多废话了。用事实说话，看例子：数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用...
「实践总结」MyBatis 千万数据表如何实现快速分页
zgz102928的博客
02-23 1319
准备数据没有一千万的数据怎么办？创建呗代码创建一千万？那是不可能的，太慢了，可能真的要跑一天。可以采用数据库脚本执行速度快很多。创建表创建数据脚本采用批量插入，效率会快很多，而且每1000条数就commit，数据量太大，也会导致批量插入效率慢开始测试❝哥的电脑配置比较低：win10 标压渣渣i5 读写约500MB的SSD由于配置低，本次测试只准备了3148000条数据，占用了磁盘5G(还没建索引的情况下)，跑了38min，电脑配置好的同学，可以插入多点数据测试返回结果：3148000。
mysql 索引处理limit_mysql查询效率优化之 索引配合LIMIT 来最大化提高查询速度
weixin_42099302的博客
01-19 463
举例说明百万级或千万级数据表 添加索引来优化查询效率 并 配合 LIMIT 最大化提高查询效率，此方法仅限于返回的结果集庞大。本来条件下就最多返回几条或几十条 就没必要用这个方式来提升效率了。SELECT * FROM lqr_member WHERE username = ? and usertype= ?与SELECT * FROM lqr_member WHERE username...
如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案！（zz）
热门推荐
我的博客
06-27 4万+
标签： 优化mysql数据库测试框架sqlserver 2011-05-06 18:47 4104人阅读 评论(0) 收藏 举报  分类： MySQL（8）  MySQL数据库优化处理实现千万级快速分页分析，来看下吧。 数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, i
mysql 千万级数据分页_mysql千万级数据分页查询优化
weixin_39629631的博客
02-01 484
场景：订单表order，有1千1百万条记录，orderId为主键1. 直接用limitstart,count分页语句查询select*fromorderlimitstart,count当起始页较小时，查询没有性能问题，我们分别看下从1千， 1万，10万，100万，1000万，开始分页的执行时间如下：select * from orderLIMIT 1000, 10 ...
mysql千万级数据分页查询
06-08
对于千万级数据的分页查询，可以考虑使用MySQL的分页查询语句LIMIT和OFFSET来实现。 例如，要查询第11-20条数据，可以使用以下语句： SELECT * FROM table_name LIMIT 10 OFFSET 10; 其中，LIMIT 10表示每页显示10条数据，OFFSET 10表示从第11条数据开始查询。 但是，对于千万级数据的分页查询，使用LIMIT和OFFSET会导致查询效率低下，因为MySQL需要扫描整个表才能确定需要返回的数据。因此，可以考虑使用索引来提高查询效率。 具体做法是，在表中创建适当的索引，例如按照主键或者按照某个关键字建立B树索引，然后使用索引进行分页查询。这样，MySQL只需要扫描索引树，就可以快速定位需要返回的数据，大大提高查询效率。 总之，针对千万级数据的分页查询，需要综合考虑数据量、查询效率和索引等因素，选择合适的查询方式和优化方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值