MySQL 查询一张表重复出现的数据

MySQL 查询一张表重复出现的数据 保留一条


在实际应用场景 有些接口会出现并发 多次调用 导致数据重复 实际只需要一条数据但是出现了 多条重复的 导致结果出现问题

查询重复数据

-- 我这种是 有两个条件 如果只有一个条件 把 括号去掉就行
SELECT
	id 
FROM
	表名 g 
WHERE
	( g.字段1, g.字段2) IN ( SELECT 字段1, 字段2  FROM 表名 GROUP BY 字段1, 字段2 HAVING count( * ) > 1 ) 
	AND Id NOT IN ( SELECT min( id ) FROM 表名 GROUP BY 字段1, 字段2 HAVING count( * ) > 1 ) 

单条件

SELECT
	id 
FROM
	表名 g 
WHERE
	g.字段1  IN ( SELECT 字段1 FROM 表名 GROUP BY 字段1  HAVING count( * ) > 1 ) 
	AND Id NOT IN ( SELECT min( id ) FROM 表名 GROUP BY 字段1 HAVING count( * ) > 1 ) 

删除重复数据 只需再包一层就行

delete from 表名 where id in (
select id from (
SELECT
	id 
FROM
	表名 g 
WHERE
	( g.字段1, g.字段2) IN ( SELECT 字段1, 字段2  FROM 表名 GROUP BY 字段1, 字段2 HAVING count( * ) > 1 ) 
	AND Id NOT IN ( SELECT min( id ) FROM 表名 GROUP BY 字段1, 字段2 HAVING count( * ) > 1 )
	) as a 
	)

### 如何在 MySQL查询内的重复记录 #### 使用 `GROUP BY` 和 `HAVING` 为了高效地找出中的重复记录,可以利用 SQL 的 `GROUP BY` 结合 `HAVING` 子句来实现这一目标。具体来说,通过指定想要检查重复性的字段,并使用 `COUNT()` 函数统计这些字段出现次数超过一次的情况。 ```sql SELECT column_name, COUNT(column_name) AS count FROM table_name GROUP BY column_name HAVING COUNT(column_name) > 1; ``` 此查询会返回所有具有相同值且该值至少出现了两次以上的行[^4]。 #### 防止子查询更新错误 当尝试在同一张上执行涉及删除操作的复杂查询时,可能会遇到错误提示:“You can't specify target table 'table_name' for update in FROM clause”。为了避免这种情况发生,在实际应用中建议先创建一个临时保存中间结果: ```sql CREATE TEMPORARY TABLE temp_duplicates AS SELECT MAX(id) as id_to_keep, duplicate_column FROM your_table GROUP BY duplicate_column; DELETE t1 FROM your_table t1 JOIN temp_duplicates td ON t1.duplicate_column = td.duplicate_column AND t1.id != td.id_to_keep; ``` 这段代码首先建立了名为 `temp_duplicates` 的临时用于存储需要保留的最大 ID 及其对应的重复列;接着基于这个临时来进行删除多余副本的操作[^3]。 #### 提高查询性能 对于大数据集而言,原始简的嵌套子查询可能不是最优解法,因为它可能导致数据库引擎无法有效利用索引结构从而影响整体性能现。优化后的方案如下所示: ```sql SELECT * FROM ( SELECT *, ROW_NUMBER() OVER(PARTITION BY duplicated_columns ORDER BY some_ordering_field) rn FROM your_table ) subquery WHERE rn > 1; ``` 这里采用了窗口函数 `ROW_NUMBER()` 来分配序号给每一组相同的记录(由 `PARTITION BY` 定义)。只有那些被标记为第二个或之后位置上的条目才会最终显示出来作为重复项[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值