删除数据库中多字段重复的数据

本文介绍了一种使用SQL语句来筛选并保留数据库中重复记录中id最小的一条的方法。通过两个子查询,首先找出所有重复的stu_id和tea_id组合,然后排除这些组合中id不是最小的记录。
SELECT
	id
FROM
	tablename a
WHERE
	(a.stu_id, a.tea_id) IN (
		SELECT
			stu_id,
			tea_id
		FROM
			tablename
		GROUP BY
			stu_id,
			tea_id
		HAVING
			count(*) > 1
	)
AND id NOT IN (
	SELECT
		min(id)
	FROM
		tablename
	GROUP BY
		stu_id,
		tea_id
	HAVING
		count(*) > 1
)

   通过上面语句能找出来数据库中stu_id,tea_id字段重复的数据,如果数据库中有3条重复的数据,这里将筛    选出来2条重复的数据,数据库中保留了一条最小id的数据。

   表结构事例如下

CREATE TABLE `tablename` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `stu_id` bigint(20) NOT NULL DEFAULT '0',
  `tea_id` bigint(20) NOT NULL DEFAULT '0',
  `add_time` timestamp NOT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '添加时间',
  PRIMARY KEY (`id`),
  KEY `tea_id` (`tea_id`),
  KEY ` stu_id` (`stu_id`)
)

 

在 SQL 中,`GROUP BY` 子句通常用于对数据进行分组以便进行聚合计算,但它本身并不用于删除数据。要删除具有多字段重复的记录,可以结合 `GROUP BY` 和 `HAVING` 子句,配合 `DELETE` 语句来实现。 假设有一个名为 `employees` 的表,其结构如下: ```sql CREATE TABLE employees ( id INT PRIMARY KEY, name VARCHAR(100), department VARCHAR(100), salary DECIMAL(10, 2) ); ``` 表中存在多字段重复数据,例如 `name`、`department` 和 `salary` 字段组合的重复记录。要删除这些重复记录,只保留每组中的一条记录,可以使用以下方法。 ### 使用子查询结合 GROUP BY 删除重复记录 以下 SQL 语句将删除 `name`、`department` 和 `salary` 字段组合重复的记录,仅保留每组中 `id` 最小的那条记录: ```sql DELETE FROM employees WHERE id NOT IN ( SELECT MIN(id) FROM employees GROUP BY name, department, salary ); ``` 此语句的工作原理是: - 子查询部分 `SELECT MIN(id) FROM employees GROUP BY name, department, salary` 会找出每组重复数据中 `id` 最小的记录。 - 主查询部分删除所有不在这些最小 `id` 列表中的记录[^3]。 ### 使用临时表删除重复记录 如果数据库不支持在 `DELETE` 语句中直接使用子查询(例如某些版本的 MySQL),可以先将去重后的数据存入临时表,再重新插入回原表: ```sql -- 创建临时表存储去重后的数据 CREATE TEMPORARY TABLE temp_employees AS SELECT * FROM employees WHERE id IN ( SELECT MIN(id) FROM employees GROUP BY name, department, salary ); -- 清空原表 TRUNCATE TABLE employees; -- 将去重后的数据重新插入原表 INSERT INTO employees SELECT * FROM temp_employees; ``` ### 注意事项 - 在执行删除操作前,建议先使用 `SELECT` 语句测试分组结果,确保逻辑正确。 - 删除操作是不可逆的,务必谨慎操作。 - 如果数据库支持窗口函数(如 MySQL 8.0+、PostgreSQL 等),也可以使用 `ROW_NUMBER()` 函数实现更灵活的去重操作: ```sql DELETE FROM employees WHERE id IN ( SELECT id FROM ( SELECT id, ROW_NUMBER() OVER (PARTITION BY name, department, salary ORDER BY id) AS rn FROM employees ) AS duplicates WHERE rn > 1 ); ``` 此方法通过 `ROW_NUMBER()` 函数为每组重复数据编号,删除编号大于 1 的记录,从而保留每组中的一条记录[^3]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值