SQL删除重复数据只保留一条

本文提供了多种SQL查询和删除重复记录的方法,包括基于单一字段和多个字段的重复记录处理方案。通过具体示例展示了如何利用SQL语句进行数据清理。

http://www.cnblogs.com/sunxiaonan/archive/2009/11/24/1609439.html

例如:

id           name         value 
1               a                 pp 
2               a                 pp 
3               b                 iii 
4               b                 pp 
5               b                 pp 
6               c                 pp 
7               c                 pp 
8               c                 iii 
id是主键 
要求得到这样的结果 
id           name         value 
1               a                 pp 
3               b                 iii 
4               b                 pp 
6               c                 pp 
8               c                 iii

方法1
delete   YourTable   
where   [id]   not   in   ( 
select   max([id])   from   YourTable   
group   by   (name   +   value)) 

方法2
delete   a 
from   表   a   left   join( 
select   id=min(id)   from   表   group   by   name,value 
)b   on   a.id=b.id 
where   b.id   is   null 



查询及删除重复记录的SQL语句
查询及删除重复记录的SQL语句
1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断
select * from people
where peopleId in (select   peopleId from   people group by   peopleId having count(peopleId) > 1)
2、删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录
delete from people
where peopleId in (select   peopleId from people group by   peopleId   having count(peopleId) > 1)
and rowid not in (select min(rowid) from   people group by peopleId having count(peopleId )>1)
3、查找表中多余的重复记录(多个字段)
select * from vitae a
where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录
delete from vitae a
where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录
select * from vitae a
where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
(二)
比方说
在A表中存在一个字段“name”,
而且不同记录之间的“name”值有可能会相同,
现在就是需要查询出在该表中的各记录之间,“name”值存在重复的项;
Select Name,Count(*) From A Group By Name Having Count(*) > 1
如果还查性别也相同大则如下:
Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1

(三)
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >; 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0

方法二
"重复记录"有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
  1、对于第一种重复,比较容易解决,使用
select distinct * from tableName
  就可以得到无重复记录的结果集。
  如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
  发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
  2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
  假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
  最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)
(四)
查询重复
select * from tablename where id in (
select id from tablename
group by id
having count(id) > 1
)


### PostgreSQL删除重复数据保留唯一记录 在 PostgreSQL 数据库中,可以通过 SQL 查询来实现删除重复的数据行,并仅保留唯一的记录。以下是具体方法: #### 方法一:基于子查询和 `DELETE` 的方式 此方法适用于需要保留具有最小 ID 或特定条件的记录情况。假设有一个名为 `people` 的表,其中包含重复的电子邮件地址(email),目标是删除重复项,仅保留每组中 `id` 最小的一条记录。 ```sql DELETE FROM people WHERE id NOT IN ( SELECT MIN(id) FROM people GROUP BY email ); ``` 上述语句的功能是从 `people` 表中删除那些不满足 `MIN(id)` 条件的记录[^5]。这意味着对于每一组相同的 `email` 值,只有拥有最小 `id` 的记录会被保留下来。 --- #### 方法二:利用窗口函数进行高效删除 如果数据库版本支持窗口函数(如 PostgreSQL 8.0+),则可以更灵活地定义哪些记录应该被保留删除。以下是一个示例,它会删除重复的记录,而只保留每组中最新的记录(例如按时间戳或其他字段排序)。 ```sql WITH cte AS ( SELECT id, email, ROW_NUMBER() OVER (PARTITION BY email ORDER BY id ASC) as rn FROM people ) DELETE FROM people USING cte WHERE people.id = cte.id AND cte.rn > 1; ``` 在此查询中: - 使用了 `ROW_NUMBER()` 窗口函数为每个分区(即 `email` 列相等的分组)分配一个序号。 - 序号从小到大排列 (`ORDER BY id ASC`),因此第一条记录始终获得编号 `1`。 - 接着通过 `DELETE` 结合 CTE(公用表达式)移除所有序号大于 `1` 的记录[^2]。 这种方法的优势在于能够精确控制哪一条记录应被保留,同时兼容复杂的业务逻辑。 --- #### 方法三:直接操作物理存储位置(CTID) 另一种较少使用的技巧涉及直接对比元组标识符(`ctid`)。这种方式虽然有效,但在性能上可能不如前两种方案理想,尤其是在大规模数据集下。 ```sql DELETE FROM deltest a USING deltest b WHERE a.ctid < b.ctid AND a.id = b.id; ``` 这里的关键点是对两个相同表实例之间的连接施加约束条件,从而找到冗余副本并将它们标记为待删除对象[^4]。然而需要注意的是,由于涉及到底层存储细节,该策略通常较难维护且不够直观。 --- ### 总结 以上介绍了三种主流技术用于解决 PostgreSQL 下的去重问题。推荐优先考虑 **方法一** 和 **方法二** ,因为它们更加标准化、易于理解和扩展性强;除非特殊情况下才建议采用第三种依赖于内部机制的方式完成任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值