SQL 取重复数据中ID号最小的数据

本文介绍如何优化SQL查询,包括避免使用IN子句的方法,通过具体示例展示了如何选取最大ID和处理重复记录,以提高数据库操作效率。

数据库操作中尽量不要使用条件“IN”语句

 

 

 

CREATE TABLE `zhoz_mst` (
`id` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`title` VARCHAR( 66 ) NOT NULL ,
`kana` VARCHAR( 66 ) ,
`zz` VARCHAR( 66 ) NOT NULL
) ENGINE = MYISAM ;

插入测试数据:
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'aaa', 'bbb', 'ccc');
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'aaa', 'bbb2', '2');
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'aaa', 'bbb', '3');
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'aaa', 'bbb', '4');
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'a', 'b', '5');
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'a', NULL, '6');
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'a', NULL, '7');
INSERT INTO `zhoz0428`.`zhoz_mst` (`id` ,`title` ,`kana` ,`zz` )VALUES (NULL , 'a', 'b', '8');

      1 aaa bbb ccc
      2 aaa bbb2 2
      3 aaa bbb 3
      4 aaa bbb 4
      5 a b 5
      6 a NULL 6
      7 a NULL 7


删除保存最小ID:
select a.id, a.title, a.kana from zhoz_mst a
  where (a.title,a.kana) in  (select title,kana from zhoz_mst group by title,kana having count(*) > 1)
  and id not in (select min(id) from zhoz_mst group by title,kana having count(*)>1)

取出两字段完全相同:
select a.id, a.title, a.kana from zhoz_mst a
  where (a.title,a.kana) in  (select title,kana from zhoz_mst group by title,kana having count(*) > 1)
----------------------
      1 aaa bbb
      3 aaa bbb
      4 aaa bbb
      5 a b
      8 a b

 

 

取最大ID号

select  * from prn a
where a.flowid in(select max(flowid) from prn where tm>'2009-7-1' group by stcd  )

 

取最大ID号语句优化

 

select  * from prn a  (select max(flowid) flowid from prn where tm>'2010-1-28'group by stcd  ) b
where a.flowid=b.flowid

 

 

<think>我们参考了用户提供的引用内容,特别是引用[2]和引用[3]中关于Oracle删除重复记录的方法。用户明确询问Oracle SQL删除表中重复数据的方法,因此我们将重点介绍几种常用方法。 根据引用[3]的内容,删除重复数据通常有两种情况:根据单个字段判断重复和根据多个字段组合判断重复。同时,我们还需要考虑保留哪一条记录(通常是保留rowid最小的记录,即最早插入的记录)。 以下介绍几种方法: ### 方法一:使用ROWID和子查询(针对单个字段重复) 如果重复记录是根据单个字段(例如`id`)判断的,可以使用以下语句删除重复记录,只保留rowid最小的记录: ```sql DELETE FROM 表名 WHERE (id) IN ( SELECT id FROM 表名 GROUP BY id HAVING COUNT(id) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM 表名 GROUP BY id HAVING COUNT(*) > 1 ); ``` ### 方法二:使用ROWID和子查询(针对多个字段重复) 如果重复记录是根据多个字段(例如`id, seq`)组合判断的,可以使用以下语句: ```sql DELETE FROM 表名 a WHERE (a.id, a.seq) IN ( SELECT id, seq FROM 表名 GROUP BY id, seq HAVING COUNT(*) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM 表名 GROUP BY id, seq HAVING COUNT(*) > 1 ); ``` ### 方法三:使用ROW_NUMBER()窗口函数(通用方法,推荐) 这种方法更为通用,适用于任何情况,且逻辑清晰。我们通过给每行数据按重复字段分组后编,然后删除编大于1的记录(即重复记录中只保留一条): ```sql DELETE FROM 表名 WHERE ROWID IN ( SELECT rid FROM ( SELECT ROWID AS rid, ROW_NUMBER() OVER (PARTITION BY 字段1, 字段2, ... ORDER BY ROWID) AS rn FROM 表名 ) WHERE rn > 1 ); ``` 说明: - `PARTITION BY`后面跟着用于判断重复的字段列表(可以是单个或多个字段)。 - `ORDER BY`子句用于指定在重复记录中保留哪一条,这里按`ROWID`排序(最小ROWID即最早插入),保留第一条(即rn=1),删除其他(rn>1)。 - 注意:如果希望保留最新插入的记录(即最大ROWID),可以将`ORDER BY ROWID DESC`。 ### 方法四:创建临时表(适用于数据量大的情况) 另一种方法是创建一个不含重复记录的新表,然后删除原表,再将新表重命名为原表名。这种方法在数据量较大时可能更高效,但需要注意表索引、约束等对象的重建: ```sql -- 创建临时表,只选不重复的记录(保留rowid最小的记录) CREATE TABLE 新表 AS SELECT * FROM 表名 WHERE ROWID IN ( SELECT MIN(ROWID) FROM 表名 GROUP BY 字段1, 字段2, ... -- 根据哪些字段去重 ); -- 删除原表 DROP TABLE 表名; -- 将新表重命名 RENAME 新表 TO 表名; -- 重建索引、约束等(根据实际情况) ``` ### 注意事项 1. 在执行删除操作前,务必先备份数据。 2. 如果表有索引,方法一和方法二可能效率较高(引用[2]中提到),但具体决于数据分布。 3. 如果重复记录非常多,建议使用方法四(创建临时表)以避免大量日志产生。 4. 在删除重复数据时,需要根据实际情况确定重复的判断标准和保留规则。 以上方法在Oracle数据库中均有效,请根据实际情况选择。 §§相关问题§§ 1. 如何查找Oracle表中的重复记录? 2. 在删除重复数据时,如何保留最新插入的记录(即最大ROWID)? 3. 除了使用SQL语句,还有哪些工具或方法可以删除Oracle中的重复数据? 4. 删除重复数据时,如何处理有外键关联的表? </think>### Oracle SQL删除表中重复数据的方法 在Oracle数据库中,删除重复数据的核心逻辑是**保留唯一标识的记录(如ROWID最小的记录)并删除其他重复项**。以下是四种常用方法: #### 方法1:使用ROW_NUMBER()窗口函数(推荐) ```sql DELETE FROM your_table WHERE ROWID IN ( SELECT rid FROM ( SELECT ROWID AS rid, ROW_NUMBER() OVER ( PARTITION BY column1, column2 -- 定义重复的字段组合 ORDER BY timestamp_column DESC -- 保留最新记录(或ROWID) ) AS rn FROM your_table ) WHERE rn > 1 -- 删除重复项 ); ``` **说明**: - `PARTITION BY`指定判断重复的列(如身份证、订单等) - `ORDER BY`决定保留哪条记录(`DESC`保留最新,`ASC`保留最旧) - 执行效率较高,尤其适合大表操作[^3] #### 方法2:ROWID+MIN()聚合(单字段重复) ```sql DELETE FROM your_table WHERE column_name IN ( SELECT column_name FROM your_table GROUP BY column_name HAVING COUNT(1) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM your_table GROUP BY column_name HAVING COUNT(1) > 1 ); ``` #### 方法3:ROWID+MIN()聚合(多字段重复) ```sql DELETE FROM your_table WHERE (col1, col2) IN ( -- 多字段组合作为重复条件 SELECT col1, col2 FROM your_table GROUP BY col1, col2 HAVING COUNT(1) > 1 ) AND ROWID NOT IN ( SELECT MIN(ROWID) FROM your_table GROUP BY col1, col2 HAVING COUNT(1) > 1 ); ``` #### 方法4:创建临时表(超大数据集) ```sql -- 步骤1: 创建不含重复数据的新表 CREATE TABLE new_table AS SELECT * FROM ( SELECT t.*, ROW_NUMBER() OVER (PARTITION BY col1, col2 ORDER BY ROWID) rn FROM old_table t ) WHERE rn = 1; -- 步骤2: 重命名表 DROP TABLE old_table; RENAME new_table TO old_table; ``` ### 操作建议: 1. **先查询重复数据**: ```sql SELECT col1, col2, COUNT(*) FROM your_table GROUP BY col1, col2 HAVING COUNT(*) > 1; ``` 2. **备份数据**: ```sql CREATE TABLE your_table_bkp AS SELECT * FROM your_table; ``` 3. **创建索引加速**(尤其大表): ```sql CREATE INDEX idx_dup ON your_table(col1, col2); ``` > ⚠️ **重要提示**:执行删除前务必确认`PARTITION BY`字段和排序规则,避免误删数据。建议在测试环境验证SQL[^2][^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值