删除表中重复数据的sql

一方法:

查询表中重复数据 
select * from employee where employeeId in (select employeeId from employee group by employeeId having count(employeeId) > 1)

删除表中多余的重复记录,重复记录是根据单个字段(employeeId)来判断,只留有rowid最小的记录 
delete from employee where employeeId in (select employeeId from employee group by employeeId having count(employeeId) > 1) 
and rowid not in (select min(rowid) from employee group by employeeId having count(employeeId )>1)

查找表中多余的重复记录(多个字段) 
select * from employee e 
where (e.employeeId,e.phoneNo) in (select employeeId,phoneNo from employee group by employeeId,phoneNo having count(*) > 1)

删除表中多余的重复记录(多个字段),只留有rowid最小的记录 
delete from employee e 
where (e.employeeId, e.phoneNo) in (select employeeId, phoneNo from employee group by employeeId,phoneNo having count(*) > 1) 
and rowid not in (select min(rowid) from employee group by employeeId,phoneNo having count(*)>1)

查找表中多余的重复记录(多个字段),不包含rowid最小的记录 
select * from employee e 
where (e.employeeId,e.phoneNo) in (select employeeId, phoneNo from employee group by employeeId,phoneNo having count(*) > 1) 
and rowid not in (select min(rowid) from employee group by employeeId,phoneNo having count(*)>1)

通用:

delete from table t 
where (t.字段1, t.字段2, … , t.字段n) in (select 字段1, 字段2, … , 字段n from table group by 字段1, 字段2, … , 字段n having count(*) > 1) 
and rowid not in (select min(rowid) from table group by 字段1, 字段2, … , 字段n having count(*)>1)

此外:

如果只是查询的时候, 不显示重复, 只需select distinct 字段 from table….
--------------------- 

二删除方法:DELETE FROM hr.employees t1
                     WHERE t1.ROWID NOT IN (
                       SELECT MIN(t2.ROWID)
                       FROM hr.employees t2
                       GROUP BY t2.employee_id --按照想要唯一保留的字段进行分组
                      );

这个明显就比方法一好多了,子查询中我们先选除了rowid,然后按照我们想要保留的唯一字段进行分组,并取每组最小的rowid(注意是子查询表的rowid);然后在用not in删除除开最小的rowid以外的所有记录

  怎么样,这个方法是不是瞬间解决并且非常好理解?但是你以为这样就结束了?no no no

三删除方法:DELETE FROM hr.employees t1
              WHERE t1.rowid > (
                   SELECT MIN(t2.rowid)
                   FROM hr.employees t2
                   WHERE t1.employee_id = t2.employee_id --按照想要唯一保留的字段进行匹配
                 );

这个方式看起来和方法二差不多,但是想要说的是,他用的是连接,他用的是连接,不敢说连接一定比group by快,但是基本上不会输group by,而且在一般的情况下也是最快的了。而且外层的">"可以用到索引,就是各种快。

  方法也同样说一下,子查询中按照要保留的字段对t1和t2进行关联,然后选择出最小的rowid(注意是子查询表的rowid),然后在外层用">"只保留每个匹配结果最小的一条记录。然后就瞬间删除重复的记录

 

<think>我们参考了用户提供的引用内容,特别是引用[2]和引用[3]中关于Oracle删除重复记录的方法。用户明确询问Oracle SQL删除重复数据的方法,因此我们将重点介绍几种常用方法。 根据引用[3]的内容,删除重复数据通常有两种情况:根据单个字段判断重复和根据多个字段组合判断重复。同时,我们还需要考虑保留哪一条记录(通常是保留rowid最小的记录,即最早插入的记录)。 以下介绍几种方法: ### 方法一:使用ROWID和子查询(针对单个字段重复) 如果重复记录是根据单个字段(例如`id`)判断的,可以使用以下语句删除重复记录,只保留rowid最小的记录: ```sql DELETE FROM 名 WHERE (id) IN ( SELECT id FROM 名 GROUP BY id HAVING COUNT(id) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM 名 GROUP BY id HAVING COUNT(*) > 1 ); ``` ### 方法二:使用ROWID和子查询(针对多个字段重复) 如果重复记录是根据多个字段(例如`id, seq`)组合判断的,可以使用以下语句: ```sql DELETE FROM 名 a WHERE (a.id, a.seq) IN ( SELECT id, seq FROM 名 GROUP BY id, seq HAVING COUNT(*) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM 名 GROUP BY id, seq HAVING COUNT(*) > 1 ); ``` ### 方法三:使用ROW_NUMBER()窗口函数(通用方法,推荐) 这种方法更为通用,适用于任何情况,且逻辑清晰。我们通过给每行数据按重复字段分组后编号,然后删除编号大于1的记录(即重复记录中只保留一条): ```sql DELETE FROM 名 WHERE ROWID IN ( SELECT rid FROM ( SELECT ROWID AS rid, ROW_NUMBER() OVER (PARTITION BY 字段1, 字段2, ... ORDER BY ROWID) AS rn FROM 名 ) WHERE rn > 1 ); ``` 说明: - `PARTITION BY`后面跟着用于判断重复的字段列(可以是单个或多个字段)。 - `ORDER BY`子句用于指定在重复记录中保留哪一条,这里按`ROWID`排序(最小ROWID即最早插入),保留第一条(即rn=1),删除其他(rn>1)。 - 注意:如果希望保留最新插入的记录(即最大ROWID),可以将`ORDER BY ROWID DESC`。 ### 方法四:创建临时(适用于数据量大的情况) 另一种方法是创建一个不含重复记录的新,然后删除,再将新重命名为原名。这种方法在数据量较大时可能更高效,但需要注意索引、约束等对象的重建: ```sql -- 创建临时,只选取不重复的记录(保留rowid最小的记录) CREATE TABLE 新 AS SELECT * FROM 名 WHERE ROWID IN ( SELECT MIN(ROWID) FROM 名 GROUP BY 字段1, 字段2, ... -- 根据哪些字段去重 ); -- 删除 DROP TABLE 名; -- 将新重命名 RENAME 新 TO 名; -- 重建索引、约束等(根据实际情况) ``` ### 注意事项 1. 在执行删除操作前,务必先备份数据。 2. 如果有索引,方法一和方法二可能效率较高(引用[2]中提到),但具体取决于数据分布。 3. 如果重复记录非常多,建议使用方法四(创建临时)以避免大量日志产生。 4. 在删除重复数据时,需要根据实际情况确定重复的判断标准和保留规则。 以上方法在Oracle数据库中均有效,请根据实际情况选择。 §§相关问题§§ 1. 如何查找Oracle中的重复记录? 2. 在删除重复数据时,如何保留最新插入的记录(即最大ROWID)? 3. 除了使用SQL语句,还有哪些工具或方法可以删除Oracle中的重复数据? 4. 删除重复数据时,如何处理有外键关联的? </think>### Oracle SQL删除重复数据的方法 在Oracle数据库中,删除重复数据的核心逻辑是**保留唯一标识的记录(如ROWID最小的记录)并删除其他重复项**。以下是四种常用方法: #### 方法1:使用ROW_NUMBER()窗口函数(推荐) ```sql DELETE FROM your_table WHERE ROWID IN ( SELECT rid FROM ( SELECT ROWID AS rid, ROW_NUMBER() OVER ( PARTITION BY column1, column2 -- 定义重复的字段组合 ORDER BY timestamp_column DESC -- 保留最新记录(或ROWID) ) AS rn FROM your_table ) WHERE rn > 1 -- 删除重复项 ); ``` **说明**: - `PARTITION BY`指定判断重复的列(如身份证号、订单号等) - `ORDER BY`决定保留哪条记录(`DESC`保留最新,`ASC`保留最旧) - 执行效率较高,尤其适合大操作[^3] #### 方法2:ROWID+MIN()聚合(单字段重复) ```sql DELETE FROM your_table WHERE column_name IN ( SELECT column_name FROM your_table GROUP BY column_name HAVING COUNT(1) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM your_table GROUP BY column_name HAVING COUNT(1) > 1 ); ``` #### 方法3:ROWID+MIN()聚合(多字段重复) ```sql DELETE FROM your_table WHERE (col1, col2) IN ( -- 多字段组合作为重复条件 SELECT col1, col2 FROM your_table GROUP BY col1, col2 HAVING COUNT(1) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM your_table GROUP BY col1, col2 HAVING COUNT(1) > 1 ); ``` #### 方法4:创建临时(超大数据集) ```sql -- 步骤1: 创建不含重复数据的新 CREATE TABLE new_table AS SELECT * FROM ( SELECT t.*, ROW_NUMBER() OVER (PARTITION BY col1, col2 ORDER BY ROWID) rn FROM old_table t ) WHERE rn = 1; -- 步骤2: 重命名 DROP TABLE old_table; RENAME new_table TO old_table; ``` ### 操作建议: 1. **先查询重复数据**: ```sql SELECT col1, col2, COUNT(*) FROM your_table GROUP BY col1, col2 HAVING COUNT(*) > 1; ``` 2. **备份数据**: ```sql CREATE TABLE your_table_bkp AS SELECT * FROM your_table; ``` 3. **创建索引加速**(尤其大): ```sql CREATE INDEX idx_dup ON your_table(col1, col2); ``` > ⚠️ **重要提示**:执行删除前务必确认`PARTITION BY`字段和排序规则,避免误删数据。建议在测试环境验证SQL[^2][^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值