mysql 分页查询数据重复出现

最新推荐文章于 2025-03-03 16:03:38 发布
原创 最新推荐文章于 2025-03-03 16:03:38 发布 · 2.9k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库开发 #mysql

本文探讨了MySQL 5.6以后limit+orderby组合可能导致的分页查询异常，即翻页时出现重复记录。原因在于排序优化。提供两种快速解决方法：一是添加额外排序字段；二是为排序字段建立索引。

mysql 分页查询数据重复出现

现象

当mysql版本是5.6以后，limit+order by同时使用时，order by字段在某种相同情况，分页会异常，当出现翻到第二页的时候，竟然又出现了第一页的记录。

原因

	5.6的版本上 优化了limit+order by的排序规则导致

快速的解决办法

第一种：order by 再加一个排序字段即可
第二针：为排序字段添加索引
MySQL分页查询中数据重复导致排序混乱的解决方法
MwgmPhilosophy的博客
10-06 556
在使用MySQL数据库进行分页查询时，经常会遇到一种情况，即当按照某个字段进行排序后，分页查询结果中出现了数据重复的情况，导致分页数据的顺序混乱。首先，让我们来看一个简单的示例表，假设我们有一个名为"products"的表，其中包含了产品的信息，包括产品ID（id）和产品名称（name），我们希望按照产品ID进行排序和分页查询。在上面的查询中，我们首先在子查询中使用DISTINCT关键字获取唯一的产品ID和名称，然后再次按照产品ID进行排序。在我们的示例中，我们可以使用产品ID作为唯一字段。
Python处理MySQL大数据量：分页查询与性能优化
最新发布
AI天才研究院
06-23 1025
本文面向需要处理MySQL大数据量表分页查询的Python开发者，重点解决“百万级数据分页慢”的核心问题。覆盖传统分页的性能瓶颈分析、4种优化方案（索引分页/覆盖索引/游标分页/预计算分页）的原理与实现，以及Python代码实战。本文从“图书馆找书”的生活案例引入分页原理，逐步拆解传统的性能痛点，通过代码+执行计划分析优化方案，最后结合电商商品列表场景给出完整实战案例。传统分页简单但低效，OFFSET越大越慢。索引分页：基于自增主键或有序索引，通过快速定位，时间与页数无关。覆盖索引。
mysql 分页查询出现重复数据分析排查
逍遥散人的博客
12-31 2401
mysql 分页查询出现重复数据问题排查mysql 分页查询出现重复数据问题分析定位问题解决方案 mysql 分页查询出现重复数据 2019的最后一天，才发现今年快过去了，就想着写点东西纪念一下，而且正好昨天项目上遇见一个让我感到很奇怪的问题，一个简单的分页查询居然出现问题了，让人难以置信啊，但是问题就是出现了。所以现在就将我对这件事的问题排查过程做一个简单的记录。希望能帮助到大家。顺便方便自己做...
mysql分页查询出现重复数据
lwy23czl的博客
01-05 1406
就是因为在分页排序的时候，排序字段的值出现重复，就会导致分页结果不正确。因为sql多个字段排序，先按第一个排序字段排序，如果第一个排序字段的值相等，则按第二个排序字段排序，以此类推…所以尽量使用值唯一的字段进行排序，如果无法避免，则使用值唯一的字段(例如时间戳)充当第二个排序字段。在查询语句的排序字段中再加上一个排序字段。尽量要求是当第一个排序字段重复时，值能够唯一的。第一条sql是根据是否置顶排序查询test表的。第二条sql是根据是否置顶排序查询test表的。结果发现id=10的数据。
mysql-分页数据重复
一个博客
07-13 1742
以前碰到过类似问题，是因为排序字段导致的，因为排序字段一样导致分页临界点的查询数据展示可能会重复。分页查询不同页出现重复数据，底层实现都是使用limit。从51条开始，显示后面的100条。第101条开始的50条数据。
MySQL分页时出现的数据重复问题
m0_38048955的博客
12-27 1383
如何解决
Mysql分页查询出现重复数据
zhuxiang997的博客
02-22 2315
1、执行sql语句，根据商品销量来进行分页查询 SELECT goods_spu.* FROM goods_spu goods_spu WHERE goods_spu.`shop_id` = '1450999734971478018' AND goods_spu.`shelf` = 1 AND goods_spu.tenant_id = '1' ORDER BY goods_spu.sale_num DESC LIMIT 0,10 当所有商品销量都为0或者都一样的情况下就会出现不同分页参...
Mybatis MySQL数据库分页查询出现重复数据
朱政雄的博客
09-11 3720
MySQL分页查询出现重复数据 情景(situation):   今天在生产环境，业务同事导出文件时遇到了出现重复数据的问题。因为之前这个功能是我和我带的外包同事一起做的，所以很熟悉这块代码。经过线上操作核对，和代码检测，发现线上查询确实出现了重复数据，而导出文件出现重复数据是因为导出功能后面使用的接口是我提供的分页接口。通过代码分析，基本确认后台应用端代码应该是没有问题的，那么问题就出现在我提供...
【Mysql】分页排序查询（Order by limit）出现数据丢失和重复
weixin_44823875的博客
03-14 2225
如果必须执行文件排序，则在找到第一个row_count之前，将选择所有与查询匹配的，没有LIMIT子句的行，并对其中的大多数或全部进行排序。在执行查询时，MySQL会根据查询优化器的决策来确定数据的检索顺序，如果没有明确的排序规则，结果集的顺序可能会随机，也就是说当我们用更新时间来做排序，而更新时间这个字段的值是不唯一的，同一个更新时间的数据有多条，那么在分页查询时，就可能会在不同页排序后取到相同的数据。出现的问题就是第二页的最后一条数据，和第三页的第一条数据是一样的，也就是出现了分页数据重复的问题。
避坑：MySQL分页时出现的数据重复问题
m0_38048955的博客
04-06 3242
在MySQL中我们通常会采用limit来进行翻页查询
解决MySQL中分页查询时多页有重复数据，实际只有一条数据的问题
程序员大腾的博客
07-19 1868
使用主键进行分页查询就不会产生数据排序重复/缺失的问题
mysql 分页数据重复问题
weixin_34253539的博客
06-04 183
解决方案 order by 或者使用groupby 转载于:https://www.cnblogs.com/zfzf1/p/10971777.html
mysql分页数据重复问题另一种解决方案
李高峰的博客
02-22 1634
最近在线上项目发现下面两个SQL分页查询到的结果有可能是重复的： 第一页的SQL: SELECT * FROM `users` WHERE show_in_cp=1 order by is_online desc,updated_at desc,id desc limit 0,10 第二页的SQL: SELECT * FROM `users` WHERE show_in_cp=1 order by is_online desc,updated_at desc,id desc limit 10,.
mysql 分页数据重复_小心避坑：MySQL分页时出现的数据重复问题
weixin_30596151的博客
01-19 607
0 问题描述在MySQL中我们通常会采用limit来进行翻页查询，比如limit(0,10)表示列出第一页的10条数据，limit(10,10)表示列出第二页。但是，当limit遇到order by的时候，可能会出现翻到第二页的时候，竟然又出现了第一页的记录。具体如下：SELECT`post_title`,`post_date`FROMpostWHERE`post_status`='publis...
mysql分页排序数据重复
weixin_36873225的博客
03-03 925
总结一下，可能的原因和解决办法如下：排序字段不唯一，导致MySQL在分页时无法确定记录的准确顺序，出现重复。解决办法是在ORDER BY子句中加入唯一字段（如主键）作为第二排序条件。数据在分页过程中发生了变化，导致OFFSET的计算出现偏差。解决办法是使用基于游标的分页方法，或者确保在分页过程中数据不变（例如使用事务隔离级别，但这可能不现实）。可能还有其他因素，比如查询中使用了不稳定的排序方式，比如使用了非确定性的函数或者变量，导致每次排序结果不同。
开发随笔——mysql分页出现重复数据
shi_zi_183的博客
05-09 259
分页出现重复数据 问题背景 将许多行数据存储在数据库中，想实现通过数据库实现各种筛选并分页展示在网站上。 在对某一字段排序后发现一些之前出现的值在下一页重复出现（数据有一个唯一字段id，所以不应该有完全相同的行）。 问题原因 mysql原生问题，问题原因是排序字段不唯一。 导致一个记录在遇到相同值时没法排序（排序不唯一），导致分页后在两个页同时出现（理论上也可能有记录被忽略了）。 解决方法 选择一个唯一的字段，做次排序 在用不唯一的字段做排序后，在此基础上在做一次id排序，这样就避免了排序不唯一。 ...
小心避坑：MySQL分页时使用 limit+order by 会出现数据重复问题
Java知音
02-15 1078
点击上方“Java知音”，选择“置顶公众号”技术文章第一时间送达！作者：猿码道www.jianshu.com/p/544c319fd8380 问题描述在MySQL中我们通常会采用limi...
mysql分页获取到重复数据
hyk_lk的博客
11-16 1201
线上遇到一个问题，使用mysql分页获取数据会获取到重复的数据，比如一共一万条数据，分页取出来之后合并到一起会有重复的几条，而且每次重复的数据都不太一样，但是直接全量获取就没有问题，数据库建表语句如下：CREATE TABLE point ( id bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT 'id', address va
MySQL分页排序，各页中记录存在重复数据现象
个人视角下的技术领域探索
07-17 4987
现象描述： 项目在做分页查询的时候，用到了排序 order by ctime，由于是测试环境，ctime时间值都是一样的。在通过mybatis分页查询的时候，发现最后一页数据和第一页数据重复。后来就拿出sql进行测试，发现偶尔是重复的。 1.解决方案 增加一个二级排序【比如：主键，时间戳】，总之实现绝对排序即可 order ctime,id 即可。 2.原理 （1）mysql查询不指定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值