MySQL删除重复数据只保留最新的一条

本文提供了一种在MySQL中删除重复数据同时保留最新的记录的方法。针对一天内可能存在的多条重复数据,通过复杂的SQL语句实现精确删除,确保仅保留每个重复名称的最新一条记录。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

MySQL删除重复数据并保留最新的一条,网上有些博客写的有问题,因为他们只考虑到或者说他们的重复数据最多只有两条,当重复数据大于2时,就会出现问题。

案例描述:
按天删除表中重复数据只保留最新的一条(这里按照id越大,数据越新),注意,一天中可能出现多条数据。重复数据以name为准,即name相同视为重复

案例表结构和数据

CREATE TABLE `test` (
  `id` int(11) NOT NULL,
  `create_date` datetime NOT NULL,
  `name` varchar(255) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (1, '2019-04-17 00:00:01', '1');
INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (2, '2019-04-17 00:00:03', '1');
INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (3, '2019-04-17 00:00:06', '3');
INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (4, '2019-04-18 00:00:04', '2');
INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (5, '2019-04-17 00:00:01', '1');
INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (6, '2019-04-18 00:00:00', '2');
INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (7, '2019-04-18 00:00:03', '1');
INSERT INTO `test`.`test`(`id`, `create_date`, `name`) VALUES (8, '2019-04-18 00:00:04', '1');

在这里插入图片描述
SQL

DELETE FROM	test WHERE 
id IN 
(
	SELECT a.id FROM test a WHERE a.NAME IN 
	(
		SELECT b.NAME FROM test b GROUP BY b.NAME, DATE_FORMAT( b.create_date, '%Y-%m-%d' ) HAVING count( DATE_FORMAT( b.create_date, '%Y-%m-%d' ) ) > 1 
	) 
) 
AND id NOT IN 
(
		SELECT max( d.id ) id FROM test d GROUP BY d.NAME, DATE_FORMAT( d.create_date, '%Y-%m-%d' ) HAVING count( DATE_FORMAT( d.create_date, '%Y-%m-%d' ) ) > 1 
);

分析
根据案例描述,按天删除重复数据,以name相同视为重复,并且只保留最新的一条

在这里插入图片描述

  1. 时间name分组,并通过having过滤每种重复的name数量大于1的name,注意:group by的第一个参数一定要是时间
  2. 以步骤1的结果集作为条件,查询表所有重复数据的id
  3. 同步骤1,但是查询的是重复数据的最大id
  4. 删除数据
<think>嗯,用户想了解如何在MySQL删除重复数据保留一条。我需要根据提供的引用内容来整理解决方案。首先,引用1和2提到了使用DELETE语句和LIMIT子句,以及可能使用临时表的方法。同时,引用3提到删除时可能涉及死锁问题,需要注意。用户的问题可能涉及两种情况:有唯一主键和没有主键的情况。对于有主键的情况,可以通过子查询找到需要保留的最小或最大ID,然后删除其他重复行。例如,使用DELETEJOIN语句,关联同一表中重复的行,并删除ID较大的那些。这种方法需要确保每行有一个唯一标识,比如自增ID。 如果没有主键,可能需要创建临时表。步骤包括:创建临时表存储去重后的数据,清空原表,重新插入数据,最后删除临时表。这种方法适用于没有唯一标识的情况,但需要注意事务处理,避免数据丢失。另外,用户可能关心性能问题,尤其是在处理大表时。使用临时表的方法虽然有效,但可能需要更多的存储空间和IO操作。而直接使用DELETE语句可能更高效,但需要注意锁的问题,避免死锁,如引用3提到的。还需要考虑是否需要在删除后添加唯一索引,防止未来再次出现重复数据。这可能是一个后续的优化步骤,用户可能也会感兴趣。 总结一下,解决方案应包括两种方法:有主键时使用DELETEJOIN,无主键时使用临时表。同时,提醒用户注意备份和性能问题,以及如何防止重复数据的再次出现。</think>在MySQL删除重复数据保留一条的解决方案可分为以下两种典型场景: ### 一、有唯一标识列的场景 当表中存在自增主键或其他唯一标识列时: ```sql DELETE t1 FROM your_table t1 INNER JOIN your_table t2 WHERE t1.id > t2.id AND -- 保留id最小的记录 t1.column1 = t2.column1 AND t1.column2 = t2.column2; -- 定义重复的字段组合 ``` 此方法通过自连接查询,删除重复记录中ID较大的条目[^1][^2] ### 二、无唯一标识列的场景 使用临时表过渡方案: ```sql -- 创建临时表存储去重数据 CREATE TABLE temp_table LIKE your_table; INSERT INTO temp_table SELECT DISTINCT * FROM your_table; -- 清空原表并重新插入 TRUNCATE TABLE your_table; INSERT INTO your_table SELECT * FROM temp_table; -- 清理临时表 DROP TABLE temp_table; ``` 该方法通过$DISTINCT$关键字过滤重复数据,但需要注意事务处理(建议在事务中操作)[^1] ### 三、进阶方案(使用窗口函数) MySQL 8.0+支持ROW_NUMBER()函数: ```sql DELETE FROM your_table WHERE id IN ( SELECT id FROM ( SELECT id, ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id) AS rn FROM your_table ) t WHERE rn > 1 ); ``` 此方法通过分组排序标记重复项,适合处理复杂重复规则[^2]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值