错误使用排序导致分页数据重复

原创已于 2024-09-24 14:23:29 修改 · 529 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

于 2024-09-24 14:20:28 首次发布

1. 现象

分页返回数据的时候，发现第一页和第二页的数据有重复的，如姓名中的“某颖文”在第一和和第二页都显示了。

第一页：

第二页：

2. 原因

因为排序的的字段为“departmentCode”，该字段是重复不唯一的，导致分页返回的结果重复

3. 解决办法

使用唯一的字段进行排序就能解决问题

参考： MyBatis排序+分页重复问题窥探_分页能用重复数据源排序吗-优快云博客

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

benniaofei18

关注关注

5
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

MySQL 使用 order by 某个字段 limit offset 分页排序可能会导致数据丢失和重复

悟已往之不谏，知来者之可追

12-22

712

如果查询数据进行排序和分页时，如果排序字段没有使用索引，一定要添加一个有索引的字段，比如主键 ID，保证顺序稳定。否则，查询的数据会导致数据丢失和重复。理解此问题出现的原因后，赶紧去看看你的项目中有没有这种情况吧！要不然出问题就不好办了！相关 SQL 语句COLLATE utf8_general_ci DEFAULT NULL COMMENT '分类名称',`sort` int DEFAULT NULL COMMENT '分类排序',

解决在分页的时候出现重复数据的问题

library_yb的博客

06-14

4875

如果查询条件不正确，就可能会导致查询到的数据不是想要的数据，从而出现重复数据的情况。另外，如果没有正确地设置排序方式，就可能会导致数据的顺序不正确，从而出现重复数据的情况。在分页时，通常是通过查询数据库中的数据，然后根据指定的页码和每页显示的数据条数来获取对应的数据。如果计算起始位置和结束位置的逻辑有误，就可能会导致数据的重复或者遗漏。总之，分页出现重复数据的原因可能是多种多样的，需要仔细检查分页逻辑的实现，确保查询条件、排序方式、起始位置和结束位置等参数的正确性。

参与评论您还未登录，请先登录后发表或查看评论

mysql分页查询出现重复数据

lwy23czl的博客

01-05

1417

就是因为在分页排序的时候，排序字段的值出现重复，就会导致分页结果不正确。因为sql多个字段排序，先按第一个排序字段排序，如果第一个排序字段的值相等，则按第二个排序字段排序，以此类推…所以尽量使用值唯一的字段进行排序，如果无法避免，则使用值唯一的字段(例如时间戳)充当第二个排序字段。在查询语句的排序字段中再加上一个排序字段。尽量要求是当第一个排序字段重复时，值能够唯一的。第一条sql是根据是否置顶排序查询test表的。第二条sql是根据是否置顶排序查询test表的。结果发现id=10的数据。

Mysql排序后分页分页数据有重复

Wis57的博客

03-26

1506

MySQL 使用 limit 进行分页时，可能会出现重复数据，通过加入 order by 子句可以解决，但是需要注意的是，如果排序字段有相同值的情况下，由于排序字段数据重复,可能会导致每次查询排序后结果顺序不同，分页还是会出现重复数据，这时可以加入第二个排序字段，提高排序的唯一性，最好保证排序的字段在表中的值是唯一的，这样就可以少写一个排序字段，增加查询效率，因为 order by 后面有多个排序字段时，无法用到索引。

分页加排序引起的数据重复问题

ubaby的博客

10-29

1758

分页加排序引起的数据重复问题问题原因排序字段有相同值的情况下，由于排序字段数据重复,可能会导致每次查询排序后结果顺序不同，分页还是会出现重复数据，这时可以加入第二个排序字段，提高排序的唯一性，最好保证排序的字段在表中的值是唯一的，这样就可以少写一个排序字段，增加查询效率，因为 order by 后面有多个排序字段时，无法用到索引。原SQL <select id="queryShopHotStuffList" resultType="com.zcb.scb.modules.zcb.vo.resp

分页后数据重复

shiwei77的博客

07-01

476

分页后数据重复现象原因解决参考文档现象数据查询的时候,第一页和第二页的数据不是完全相同,但是又一个重复数据原因去数据库查了,并没有重复数据执行了sql 大概类似是这样的 select id,sex,name,scope from student s left join achieve a on s.id=a.sid where name like '%王%' group by s.id order by scope asc limit 0,10 不分页的时候,数量是对得上的,limit 0,

Django分页器Paginator数据重复问题

u013660169的专栏

04-30

1119

Django分页器Paginator数据重复问题问题描述debug排查反思问题描述上周添加了一个新的爬虫目标，前后端做好list页，详情页，over 没想到本周管理爬虫信息的小哥反映说，每页都会出现一条重复的数据，这条重复的数据永远占据着每页的最后一条 debug 设想了几个可能导致该问题的原因使用html模板时误加了一行代码，如posts.last之类分页器使用方法错误排查经排查...

数据控件的排序、分页与模板使用

### 数据控件的排序、分页与模板使用 #### 1. 排序与选择问题当同时使用排序和选择功能时，会出现一个问题。若选择一行，然后按任意列对数据进行排序，选择状态会保留，但会转移到与前一个所选项目索引相同的新项...

springboot使用orderbyhelper排序翻页时数据有重复

最新发布

10-17

错误的分页参数会导致数据重复或遗漏。示例代码如下： ```java // 计算偏移量 int pageNum = 2; // 当前页码 int pageSize = 10; // 每页大小 int offset = (pageNum - 1) * pageSize; // 调用分页查询方法 List...

pagehelper分页查询重复数据

09-09

3. 数据库排序问题：如果您没有指定排序规则，或者排序规则不正确，可能会导致分页查询出现重复数据。请确保在分页查询中指定了正确的排序规则，以保证查询结果的准确性。 4. 分页插件版本问题：如果您使用的是较旧...

分页排序，各页中记录存在重复现象

者之书

12-10

1436

1.解决方案增加一个二级排序【比如：主键，时间戳】，总之实现绝对排序即可 2.原理（1）mysql查询不指定排序规则时，会默认按照ID进行排序。（2）一旦指定排序值，则按照排序值进行排序，排序值相同的记录，顺序则是随机的。（3）在进行分页查询时，如果不进行绝对排序，则会出现分页中各页记录重复的现象。（4）绝对排序：这是个自创概念，指按照指定排序规则排序后，记录顺序唯一。

【Mysql】Mysql排序的字段值重复时导致分页查询数据错乱的问题解决

猫巳的博客

07-20

3241

如果多行在 ORDER BY 列中具有相同的值，则服务器可以自由地以任何顺序返回这些行，并且可能会根据整体执行计划以不同的方式返回这些行。换句话说，这些行的排序顺序相对于无序列来说是不确定的。

分页查询数据重复——第三种情况

weixin_56772904的博客

10-21

6472

小白的上班常态：每天不是玩bug就是被bug玩，每天痛并快乐着干货：分页查询数据重复的情况，一般原因：1.order by 排序字段不是唯一主键或者有重复数据导致造成；2.在翻页过程中有新数据插入导致数据读写冲突导致造成解决办法：1.使用order by 排序时，加上主键或者不会重复的字段（一般建议唯一主键，如果选择时间字段，数据量过大时，有可能会重复，导致分页数据乱序或重复）；2.如果每页数量固定，可以在前段传入数据时，主键部位设置为自增id，避免插入数据之后导致传值不变，而数据库实际增加，导致的

分页数据有重复的问题

韬shao的博客

04-10

7603

前端时间测试给了个bug 前端显示时第一页和第二页有重复的一条数据研究之后发现还是数据库的一些细节问题觉得值得记录一下当时把控制台打印的log中的sql语句拿出来之后在plsql中运行发现也是有条数据重复然后有一条数据没有显示把分页语句去掉之后就没有再发生重复数据的问题。基本定位到是分页时引起的问题。在网上查找了一下资料。基本上都是解释为一般有重

避坑：MySQL分页时出现的数据重复问题

m0_38048955的博客

04-06

3250

在MySQL中我们通常会采用limit来进行翻页查询

MySQL分页拉取和客户端数据重复问题

倚竹幽篁

01-19

3515

我们都知道，各种主流的社交应用或者阅读应用，基本都有列表类视图，并且都有滑到底部加载更多这一功能，这在后端体现出来就是分页拉取数据。好处不言而喻，一般来说，这些数据项都是按时间倒序排列的，用户只关心最新的动态，而不关心几个月甚至几年前消息，所以后端返回给客户端的数据是不会一次性传递全部内容的（不仅耗费流量，而且还给服务器带来巨大压力）。

分页查询的重复数据问题

q939707163的博客

06-13

514

数据的增删改，以及数据的缓存，都可能会对mysql的结果输出顺序造成影响。所以，极有可能执行完（1）后返回1，2，3，4，执行完（2）后返回4，5，6，7的情况，造成部分数据重复查询，部分数据漏查的情况(ORACLE默认排序也会有同样的问题)。（3）如果要避免有删除、插入对查询结果集造成影响，则需要利用上一次分页查询结果作为下一次查询的条件，不断对查询结果进行过滤，来确保得到正确的查询结果。在执行完（1）后，返回id值为1,2,3,4的数据，执行完（2）后返回id值为5，6，7，8的数据。

数据库分页，数据重复问题

进三步的博客

07-30

1012

问题描述：查询数据分页时，查询的数据有时候前一页和后一页的数据会有重复问题当SQL中ORDER BY待排序字段值相同时，系统对数据的排序可能变得随机，即一会儿这条数据在前面，一会儿这条数据在后面了，所以当翻页的时候我们很容易便看到了重复的数据。 SQL中ORDER BY相同值结果乱序的具体原因查阅了Goole和相关资料，大概总结了这种情况的原因。其实发生这种现象是“故意”设计的。如果没有指定ORDER BY语句，则 MySQL （或任何RDBMS）不保证以特定顺序返回结果。有些人

74.日常问题整理[2023/06/30]分页查询数据重复

weixin_46876034的博客

06-30

446

1.使用order by 排序时，加上主键或者不会重复的字段（一般建议唯一主键，如果选择时间字段，数据量过大时，有可能会重复，导致分页数据乱序或重复）；2.如果每页数量固定，可以在前段传入数据时，主键部位设置为自增id，避免插入数据之后导致传值不变，而数据库实际增加，导致的数据重复问题。1.order by 排序字段不是唯一主键或者有重复数据导致造成；2.在翻页过程中有新数据插入导致数据读写冲突导致造成。