mysql根据多个字段删除重复记录,留下较大\较小id的值

最新推荐文章于 2023-10-26 15:39:43 发布
最新推荐文章于 2023-10-26 15:39:43 发布
阅读量915 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 数据库 文章标签： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bufanrong/article/details/86613310
本文介绍了一种使用SQL语句删除数据库中重复记录的方法，通过组合使用子查询、聚合函数和比较主键来精确地移除多余的数据条目，确保数据的唯一性和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

根据3个字段删除重复记录,
delete from nb_mouldinfo_abnormal where ( modulno , lastUpdateTime, operate) in (select tt.modulno, tt.lastUpdateTime,tt.operate from ( select modulno, lastUpdateTime,operate from nb_mouldinfo_abnormal group by modulno, lastUpdateTime,operate HAVING count(1) >1 ) tt )
AND nbid NOT IN ( select aa.nbid from ( select max(nbid) nbid from nb_mouldinfo_abnormal group by modulno, lastUpdateTime,operate HAVING count(1) >1) aa )
–nbid:主键
max(nbid):留下大的id的值
min(id):反之

详细内容:https://blog.youkuaiyun.com/n950814abc/article/details/82284838
MySQL根据某一个或者多个字段查找重复数据的sql语句
12-15
sql 查出一张表中重复的所有记录数据 1.表中有id和name 两个字段，查询出name重复的所有数据 select * from xi a where (a.username) in (select username from xi group by username having count(*) > 1) 2、查询出所有数据进行分组之后，和重复数据的重复次数的查询数据，先列下： select count(username) as '重复次数',username from xi group by username having count(*)>1 order by userna
MySQL根据多个字段删除重复数据(保留一条)
HJie3的博客
01-16 1249
MySQL根据多个字段删除重复数据(保留一条) 在成千上万条数据中,存在着一些相同的记录,该如何用SQL语句来删除掉重复的呢 话不多说直接上代码 DELETE FROM 表名 WHERE S_ID IN ( SELECT S_ID FROM 表名 A, ( SELECT 字段 1, 字段 2 FROM 表名 GROUP BY 字段 1, 字段 2 HAVING COUNT(*) > 1 ) B WHERE A.字段 1 = B.字段 1 AND A.字段 2 =
mysql删除多处字段重复的数据
李振伟的博客
10-24 2005
【代码】mysql删除多处字段重复的数据。
mysql 删除单表内多个字段重复的数据
石林
01-06 6633
遇到个问题，一个表内两个字段应该加上unique约束，但没加导致出现重复数据，网上找到一条sql可以删掉重复数据，原sql是这样的： DELETE from test WHERE (mid,uid) in (SELECT mid,uid FROM test GROUP BY mid,uid HAVING COUNT(*)>1) AND id NOT in (SELECT id FROM te
mysql删除数据库表中重复数据（根据单个或多个字段）
pipi_7的博客
04-08 610
通过单个字段(name)删除:delete from user where id not in ( select id from ( select max(id) id from user group by name ) a ); 通过多个字段（name,age）删除:delete from user where id not in ( select
MySQL 查询某个字段不重复的所有记录
09-11
描述中提到的情况是一个名为`book`的表，它包含了`id`、`author`和`title`三个字段，并且有5条记录。 首先，要理解`DISTINCT`关键字的作用。`DISTINCT`是SQL中用于去除结果集中的重复行的关键字，但它只能作用于一...
mysql删除表中某一字段重复的记录
09-14
这种方法在处理重复数据时非常有效，但需要注意的是，如果有多个字段的组合需要保持唯一，这种方法可能无法满足需求。此外，如果表很大，添加和删除索引可能会耗费一定的时间。 ### 总结 选择哪种方法取决于你的...
Mysql删除重复数据保留最小的id 的解决方法
09-09
在MySQL数据库中，有时我们可能面临清理重复数据的需求，尤其是当数据录入时出现错误或导入过程中发生重复，这时需要保留一份记录，通常是保留ID最小的那一条。以下是一种常见的解决方案，用于删除重复数据并保留每...
mysql合并多条记录的单个字段去一条记录编辑
09-11
在MySQL中，有时候我们需要将一个表中多条记录的单个字段值合并成一条记录，以便于数据分析或者简化展示。这种需求通常出现在我们想要聚合某些特定字段的数据时。本篇文章将详细讲解两种方法来实现这一目标，以示例...
mysql(16) : 根据多个字段删除重复数据
Lxinccode的博客
08-06 4019
参考 : https://blog.youkuaiyun.com/n950814abc/article/details/82284838 https://www.cnblogs.com/liyue-sqsf/p/9076902.html 单个字段(CODE) DELETE FROM `TEST` WHERE `ID` IN( SELECT * FROM( S...
mysql删除多字段重复的数据
akalius的专栏
11-03 373
create table tmp as select min(id) as col1 from blur_article group by title; delete from blur_article where id not in (select col1 from tmp); drop table tmp; create table tmp as select min(id)...
Mysql删除数据库中重复的数据(多字段判断重复)
刘军的博客
11-08 5316
由于网络阻塞,高并发造成生产环境下数据库中的数据重复!!! #所有的去重是将表中多于的记录去重 只有一条的保留  多条重复记录的话只保留ID最小的一个 #userrecoder表的SQL去重 userrecoder学生使用记录表,多个字段,记录的重复是根据学生的id studentId,模块 module,开始时间 beginTime,分数 score这四个字段完全相同才能判断是同一个字
mysql删除有多个字段记录_MySQL根据单个字段或多个字段查询重复记录,及删除重复记录的方法...
weixin_33365244的博客
02-08 722
本篇文章分享一下在mysql数据库中根据表中的单个字段或者多个字段进行查询重复数据以及删除重复数据的方法。当前情况下数据库中有个大表，需要查找其中的电话字段(phone)有重复的记录id，以便比较。如果仅仅是查找数据库中 phone 不重复的字段，很容易:SELECT min(`id`),`phone` FROM `table` GROUP BY `phone`;但是这样并不能得到有重复字段的id...
mysql 删除多字段重复值_如何在基于多个字段的SQL表中删除重复项
weixin_35181005的博客
02-17 131
我有一张游戏桌，描述如下：+---------------+-------------+------+-----+---------+----------------+| Field | Type | Null | Key | Default | Extra |+---------------+-------------+------+-----+-...
MySQL多字段相同数据去重复
嗨皮螃的博客
06-24 9887
MySQL多字段去重复实际上是单字段去重复的衍生，原理就是把多字段数据通过子查询合并为单字段的数据表，再通过单字段数据group by 进行汇总，用 having把 count(字段) > 1的数据都显示出来，最后把查找到的重复数据 用min方法或者max方法获取最小id或者最大id来选择删除。......
MYSQL 查找单个字段或者多个字段重复数据，清除重复数据
热门推荐
默默不代表沉默
08-18 4万+
前文 重复数据的情况分为两种： 单个字段 数据重复 多个字段 数据重复 所以该篇的内容就是包括 单个字段的重复数据查找 与 去重多个字段的重复数据查找 与 去重 正文 示例 accountinfo 表数据如下： 场景一 单个字段重复数据查找 & 去重 我们要把上面这个表中 单个字段 account字段相同的数据找出来。 思路 分三步 简述： 第一步 要找出重复数据，我们首先想到的就是，既然是重复，那么数量就是大于 1...
mysql 多个字段拼接去重(GROUP_CONCAT)
zhuchunyan_aijia的博客
10-26 6317
在上述示例中，我们可以看到，使用GROUP_CONCAT或者CONCAT_WS函数可以将多个字段进行拼接，但是它们并不能去除重复的拼接结果。如果我们需要去除重复的拼接结果，可以使用子查询和DISTINCT关键字来实现。除了GROUP_CONCAT函数，MySQL还提供了CONCAT_WS函数，它可以将多个字段的值进行拼接，并使用指定的分隔符进行分隔。多个字段拼接去重是指将多个字段的值按照一定的规则进行拼接，并去除重复的拼接结果。MySQL提供了GROUP_CONCAT函数，可以用来将一列的值进行拼接。
SQL删除表中的重复记录（多个字段），只留id最大的一条
最新发布
03-15
<think>好的，我现在需要帮助用户解决如何用SQL删除基于多个字段的重复记录，仅保留id最大的那条。首先，我得理解用户的问题。他们有一个表，其中某些记录在多个字段上重复，但id不同，需要删除重复的，只保留每个重复组中id最大的那条。 首先，我应该考虑如何识别这些重复的记录。可能需要使用GROUP BY或者窗口函数来找出哪些记录是重复的，并且确定每个组的最大id。然后，删除那些不在保留列表中的记录。 用户提到基于多个字段，所以可能需要用这些字段来分组。例如，如果字段是field1, field2, field3，那么需要按这三个字段分组，然后在每个组中找到最大的id，保留该id对应的记录，删除其他。 接下来，我需要考虑具体的SQL语句结构。常见的方法可能是使用子查询或者CTE（公用表表达式）来找到每个组的最大id，然后删除不在这些最大id中的记录。或者，使用ROW_NUMBER()窗口函数，按重复字段分区并按id降序排序，然后删除行号大于1的记录。 不过，不同的数据库可能有不同的语法支持。比如，MySQL和SQL Server在处理这类问题时可能有不同的方法。用户没有指定具体的数据库系统，但根据引用[1]中提到的ANY子句的例子，可能用户使用的是类似MySQL或PostgreSQL的数据库。同时，引用[2]提到SQLite不支持bigint自增主键，但这里的问题可能与数据库类型有关，不过解决方案可能通用。 例如，假设表名为my_table，字段为id, field1, field2, field3，其中id是主键。要删除重复的记录，保留每个field1, field2, field3组合中id最大的。 一种方法是使用子查询来找到每个组的最大id，然后删除那些id不在这些最大id中的记录。例如： DELETE FROM my_table WHERE id NOT IN ( SELECT MAX(id) FROM my_table GROUP BY field1, field2, field3 ); 不过，这种方法在有些数据库中可能有问题，比如当子查询返回NULL时，NOT IN会有问题，但在这里因为id是主键，不会为NULL，所以可能没问题。 另一种方法是使用CTE和窗口函数，这在支持窗口函数的数据库中更有效，比如PostgreSQL或SQL Server。例如： WITH cte AS ( SELECT id, ROW_NUMBER() OVER (PARTITION BY field1, field2, field3 ORDER BY id DESC) AS rn FROM my_table ) DELETE FROM my_table WHERE id IN (SELECT id FROM cte WHERE rn > 1); 这里，ROW_NUMBER按分组字段分区，并按id降序排序，这样每个组的第一行是最大的id，其余的行号为2及以上，删除这些行即可。 需要注意的是，在MySQL中，可能不支持在CTE中进行删除操作，或者需要特定的语法。例如，可能需要使用JOIN的方式： DELETE t1 FROM my_table t1 JOIN my_table t2 ON t1.field1 = t2.field1 AND t1.field2 = t2.field2 AND t1.field3 = t2.field3 AND t1.id < t2.id; 这种方法通过自连接，删除那些在相同分组字段下id较小的记录，保留最大的id。这种方法在MySQL中可行，但需要确保连接条件正确。 不过，用户可能需要考虑是否有多个重复的情况，比如三个重复记录，这种方法可能会多次删除，但最终结果正确。 此外，还需要确保事务处理，尤其是在生产环境中，先进行SELECT验证，再执行DELETE，避免误删。 总结可能的步骤： 1. 确定重复记录的判断字段（field1, field2, field3）。 2. 找出每个重复组中的最大id。 3. 删除所有不在这些最大id中的记录。 根据不同的数据库系统，选择合适的方法。例如，使用窗口函数或自连接。 同时，要提醒用户在执行删除前备份数据，或者在测试环境中验证，避免数据丢失。</think>要删除SQL表中基于多个字段的重复记录并保留`id`最大的记录，可以通过以下步骤实现： ### 方法1: 使用子查询和`NOT IN` ```sql DELETE FROM 表名 WHERE id NOT IN ( SELECT MAX(id) FROM 表名 GROUP BY 字段1, 字段2, 字段3 -- 替换为实际的重复字段 ); ``` - **逻辑**：通过`GROUP BY`按重复字段分组，找到每组中的最大`id`，然后删除不在这些最大`id`中的记录[^1]。 - **适用场景**：适用于大多数数据库（如MySQL、PostgreSQL）。 --- ### 方法2: 使用窗口函数（适用于支持窗口函数的数据库） ```sql WITH cte AS ( SELECT id, ROW_NUMBER() OVER ( PARTITION BY 字段1, 字段2, 字段3 ORDER BY id DESC ) AS rn FROM 表名 ) DELETE FROM 表名 WHERE id IN (SELECT id FROM cte WHERE rn > 1); ``` - **逻辑**：用`ROW_NUMBER()`按重复字段分区并为每行分配序号（`id`降序时，最大`id`的行号为1），删除序号大于1的记录。 - **适用场景**：SQL Server、PostgreSQL、Oracle等支持窗口函数的数据库。 --- ### 方法3: 通过自连接（MySQL优化方案） ```sql DELETE t1 FROM 表名 t1 JOIN 表名 t2 ON t1.字段1 = t2.字段1 AND t1.字段2 = t2.字段2 AND t1.字段3 = t2.字段3 AND t1.id < t2.id; ``` - **逻辑**：通过自连接，删除所有`id`小于同组其他记录的重复行，仅保留最大`id`[^1]。 - **适用场景**：MySQL兼容性较好。 --- ### 注意事项 1. **备份数据**：操作前建议备份表或先在测试环境验证。 2. **索引优化**：若表数据量大，为重复字段和`id`添加索引可提升性能。 3. **字段替换**：将`字段1, 字段2, 字段3`替换为实际判定重复的字段名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值