MySQL-超大分页处理-开发角度

最新推荐文章于 2024-12-04 15:26:59 发布
原创 最新推荐文章于 2024-12-04 15:26:59 发布 · 991 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #mysql

博客围绕超大分页问题展开，当表行数达百万及以上会产生该问题。从数据库方面可利用id子查询；从需求角度要减少请求、防止ID泄漏。主要靠缓存解决，将内容缓存至redis等。还参考《Java开发手册》，提出控制总页数、SQL改写等优化策略。

1、什么是超大分页

当一个表的行数大小达到百万及以上这种量级时候，毫无疑问产生超大分页

2、从数据库方面解决

  • 利于id进行子查询

3、从需求的角度

  • 减少这种请求，以及防止ID泄漏且连续被人恶意攻击.

4、主要措施

  • 解决超大分页，其实主要是靠缓存，可预测性的提前查到内容，缓存至redis等k-V数据库中，直接返回即可

5、《Java开发手册》参考

  • MySQL并不是跳过offset行，而是取offset+N行，然后舍弃前offset行，返回N行，当offset特别大的时候，效率就特别低下，要么控制返回的总页数，要么对超过特定阈值的页数进行SQL改写
  • 利用延迟关联或者子查询优化超多分页场景；先快速定位需要获取的 id 段，然后再关联
SpringBoot第27讲：SpringBoot集成MySQL - MyBatis 多个数据源
Jet_qi的博客
06-17 3981
本文是Springboot第27讲，主要讲解哪些场景会使用多个数据源以及哪些场景会需要多个数据源的动态切换呢？本文主要介绍上述场景及SpringBoot+MyBatis实现多个数据源的方案和示例
MySQL高频基本面试问题整理
热门推荐
张彦峰的博客
04-07 174万+
总结大厂MySQL高频基本面试问题整理，用于快速查缺补漏
Mysql 超大分页怎么处理？
qq_33449977的博客
05-16 1383
MySQL处理超大分页时遇到的问题类似，如果你请求查看结果集中的第几万甚至第几十万页数据，直接用传统的LIMIT offset, rows方法（比如跳过前100000行，取10行）会非常慢，因为它实际上是从头开始数，丢掉前面的100000行，再给你后面的数据。比如，记录下上次读到的是第100000条记录，下次查询时，直接说“从第100001条开始给我10条”，这样数据库就可以直接定位，不用从头开始数了。用这些方法，MySQL在面对超大分页时，就能更快地跳到你想要的那一页，不用再一页一页慢慢翻了。
MySQL超大分页处理，以及优化思路说明。
m0_56615376的博客
03-26 1631
MySQL超大分页处理，以及优化思路说明。
MySQL优化之超大分页查询
god-jiang的博客
11-10 3721
背景 基本上只要是做后台开发，都会接触到分页这个需求或者功能吧。基本上大家都是会用MySQL的LIMIT来处理，而且我现在负责的项目也是这样写的。但是一旦数据量起来了，其实LIMIT的效率会极其的低，这一篇文章就来讲一下LIMIT子句优化的。 LIMIT优化 很多业务场景都需要用到分页这个功能，基本上都是用LIMIT来实现。 建表并且插入200万条数据： # 新建一张t5表 CREATE TABLE `t5` ( `id` int NOT NULL AUTO_INCREMENT, `name` va
MySql 大数据查询优化方案和超大分页的处理方法
weixin_40725027的博客
02-23 2949
MySql 大数据查询优化方案 优化shema、sql语句+索引 第二加缓存、memcached、Redis 主从读复制、读写分离 垂直拆分，根据模块耦合度，将一个大的系统分为多个小系统，也就是分布式系统 水平切分，针对数据量大的表，这一步是最麻烦的，最能考验技术水平要选择一个合理的shardingkey 为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改动。sql 中尽量带shardingkey，将数据定位到限定的表上去查，而不是扫描全部的表； MySql 超大分页的处理
mysql快速生成百万条测试数据的方法
qq_30986969的博客
06-05 3389
转自：mysql快速生成百万条测试数据的方法 — 没那么简单的博客 有时候我们需要对大数据进行测试，本地一般没有那么多数据，就需要我们自己生成一些。下面会借助内存表的特点进行生成百万条测试数据。创建一个临时内存表, 做数据插入的时候会比较快些-- 创建一个临时内存表 DROP TABLE IF EXISTS `vote_record_memory`; CREATE TABLE `vote_rec...
php-paginator：轻量级PHP分页处理类库
php-paginator 是一个专为 PHP 语言设计的分页处理类库，主要用于在 Web 开发过程中对大量数据进行高效、美观且用户友好的分页展示。该类库以开源组件的形式发布，开发者可以将其集成到自己的 PHP 项目中，用于处理...
mybatis-mapper-oracle和mysql区别
10-06
在实际开发过程中，当需要在Oracle和MySQL之间切换数据库时，MyBatis-mapper确实提供了一个相对统一的接口层，但开发者必须根据目标数据库的特点和要求，对SQL语句、数据类型、分页处理等进行适当调整。这些差异的...
MySQL驱动使用秘籍：一步到位掌握mysql-connector-net-6.6.0
![MySQL驱动使用秘籍：一步到位掌握mysql-connector-net-6.6.0]...它为程序提供了一组API，这些API可以用来执行SQL查询、事务处理、安全管理等操作。本文将介绍如何安装和使用最新的mysql-co
Mysql 超大分页处理
ChinaLiaoTian的博客
07-07 2004
超大的分页一般从两个方向上来解决： 从需求的角度减少这种请求，主要是不做类似的需求（直接跳转到几百万页之后的具体某一页，只允许逐页查看或者按照给定的路线走，这样可预测，可缓存），以及防止ID泄漏且连续被人恶意攻击。该方案下解决超大分页，其实主要是靠缓存，可预测性的提前查到内容，缓存至 redis 等 k-V 数据库中，直接返回即可。 数据库层面，这也是我们主要集中关注的（虽然收效没那么大），类似于 select * from table where age > 20 limit 1000000,10
超大分页怎么处理?
学亮编程手记
01-16 698
的方式进行分页会随着offset值的增大导致查询性能急剧下降。这是因为数据库需要扫描从第一条记录开始跳过大量的行才能达到指定的偏移量（OFFSET），这对于数据库来说是非常低效的操作。综合以上策略，应根据具体业务场景选择最适合的方法来解决超大分页带来的性能问题。处理MySQL超大分页的问题，通常是因为当数据量非常庞大时，直接使用。
MySQL的超大分页处理
weixin_66303644的博客
09-04 907
先分页查询数据的id字段，确定了id之后，再用子查询来过滤，只查询这个id列表的数据就可以了，因为查询id的时候，走的覆盖索引，所以效率可以提升很多。如果按照二级索引查询数据的时候，返回的列中没有创建索引，有可能会触发回表查询，尽量避免使用select * ，尽量在返回的列中都包含添加索引的字段。，在返回的列中，必须在索引中全部能够找到，如果我们使用id查询，它会直接走聚集索引查询，一次索引扫描，直接返回数据，性能高。，从而完成复杂查询的一种编写形式。，并且需要对数据进行排序，这时候效率就很低，我们可以。
数据库面试题【十三、超大分页怎么处理】
红目香薰
03-01 1149
超大的分页一般从两个方向上来解决. 数据库层面,这也是我们主要集中关注的(虽然收效没那么大),类似于select * from table where age > 20 limit 1000000,10这种查询其实也是有可以优化的余地的. 这条语句需要load1000000数据然后基本上全部丢弃,只取10条当然比较慢. 当时我们可以修改为select * from table where id in (select id from table where age > 20 limit 1000
MySQL之如何处理超大分页
心有谦谦结
06-29 1062
在数据量较大时，如果使用limit分页查询，在查询时，越往后，分页查询效率会越低。此时通过“覆盖索引+子查询”的形式进行优化。
mysql超大分页优化
最新发布
Flying_Fish_roe的博客
12-04 1562
在 MySQL 中处理超大分页时，传统的方法并不适合大数据量场景，优化方式需根据实际需求选择。本文介绍的索引优化、覆盖索引、延迟关联等方法均可以有效提升查询性能。此外，结合 Java 实现的分页代码展示了具体的应用场景。对于需要极深分页的场景，建议结合缓存或限制分页范围的方式进行合理设计，以平衡性能与用户体验。
MySQL中的超大分页如何处理
weixin_51453935的博客
08-12 419
这两条SQL的查询所消耗的时间是不一样的，后者耗费的时间更多；因为需要先将90010条记录查出来排序，然后将前面的90000条记录去除，最后将剩下的10条记录返回。先通过子查询的覆盖索引不需要回表将10条id记录筛选出来，然后主键id作为连表条件，不回表直接将数据返回。那么如何解决这种效率问题呢？
超大分页怎么处理？
qq_33240556的博客
01-17 599
1、这条语句需要load1000000数据然后只取10条，其他全部丢弃,当然比较慢. 我们可以修改为select * from table where id in (select id from table where age> 20 limit 1000000,10).这样虽然也load了一百万的数据,但是由于索引覆盖,要查询的所有字段都在索引中,所以速度会很快.主要是不做类似的需，只允许逐页查看或者按照给定的路线走。在阿里巴巴《Java开发手册》中,对超大分页的解决办法是类似于上面提到的第一种。
MySQL优化--覆盖索引，超大分页查询
qq_53868937的博客
06-18 2045
覆盖索引是指select查询语句使用了索引，在返回的列，必须在索引中全部能够找到，如果我们使用id查询，它会直接走聚集索引查询，一次索引扫 描，直接返回数据，性能高。：嗯，超大分页一般都是在数据量比较大时，我们使用了limit分页查 询，并且需要对数据进行排序，这个时候效率就很低，我们可以采用覆盖索 引和子查询来解决先分页查询数据的id字段，确定了id之后，再用子查询来过滤，只查询这个 id列表中的数据就可以了 因为查询id的时候，走的覆盖索引，所以效率可以提升很多。因为，当在进行分页查询时，如果执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值