SQL去重复

最新推荐文章于 2022-05-27 16:58:50 发布

转载最新推荐文章于 2022-05-27 16:58:50 发布 · 703 阅读

文章标签：

#SQL #无主键 #去重复

SQL 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种在没有主键的情况下从数据库表中删除重复记录的方法。通过使用CTE（公共表表达式）结合ROW_NUMBER()函数，可以有效地标识并删除重复的数据行。

有主键的就不用说了，可以通过主键不同进行删除。

无主键的情况下可以用下面的语句

WITH    cte
          AS ( SELECT   * ,
                        ROW_NUMBER() OVER ( PARTITION BY c1[, c2] ORDER BY pk ) rn
               FROM     t1
             )
DELETE  cte
WHERE   rn > 1

PARTITION BY 分区；ORDER BY排序

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

abcdcb

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

SQL中的去重

rookie636的博客

08-02

989

DISTINCT 关键字用于返回唯一不同的值，一般放在查询语句中的第一个字段前使用。DISTINCT会将NULL值也看做成一个不同的值。DISTINCT去重假如有一张员工表：需要获取所有不重复的员工薪资和年龄的组合，如下编写SQL即可。

SQL语句去掉重复记录，获取重复记录

09-11

SQL语句去掉重复记录，获取重复记录 SQL语句去掉重复记录、获取重复记录是数据库管理系统中非常重要的一个操作。下面，我们将详细介绍如何使用SQL语句来实现这两个操作。去掉重复记录在数据库中，重复记录是指...

参与评论您还未登录，请先登录后发表或查看评论

sql去除重复列（行）

weixin_33817333的博客

05-11

6942

有重复数据主要有一下几种情况： 1.存在两条完全相同的纪录这是最简单的一种情况，用关键字distinct就可以去掉 example： select distinct * from table(表名) where (条件) 2.存在部分字段相同的纪录（有主键id即唯一键）如果是这种情况的话用distinc...

SQL Server 去重

07-21

关于SQL Server中的去重问题，内含详细测试数据

SQL去重

yuzhang.online的博客

01-27

4119

问题：DISTINCT用于返回唯一不同的值，多个数据去重方法：SELECT DISTINCT 列名称 FROM 表名称例子：SELECT distinct column_name,column_name FROM table_name;

精选资源

oracle sql 去重复记录不用distinct如何实现

01-19

select distinct name from t1 能消除重复记录，但只能取一个字段，现在要同时取id,name这2个字段的值。 select distinct id,name from t1 可以取多个字段，但只能消除这2个字段值全部相同的记录所以用distinct达...

SQL去除重复记录（七种）

09-09

在SQL中，处理重复数据是常见的数据库管理任务。在给定的标题和描述中，我们了解到有七种方法可以用来去除SQL中的重复记录。以下是对这七种方法的详细解释： 1. **方法1 - 使用 EXISTS 子句**：这种方法删除那些...

sql去重

m0_52093264的博客

05-27

7047

sql的去重

去重SQL

z394642048的博客

06-06

353

转载：http://www.jb51.net/article/129656.htm DELETE rqv FROM re_question_verify rqv, ( SELECT min(id) id, question_id, verify_id FROM re_question_verify GROUP BY question_id, verify_id HAVING...

SQL 数据去重

木下瞳的博客

12-16

473

网上有很多教程，这里我也贴一个现成的 https://blog.youkuaiyun.com/boss2967/article/details/79019467 去重后，保存为新表 CREATE TABLE before_12 AS SELECT * FROM ( SELECT DISTINCT all_before_12.id, all_before_12.buyTime FROM all_before_12 ) a; distinct 写在所有字段前面，代表以后面所有字段去重，.

sqlserver 去重

Fergus的博客

09-24

1228

编写一个 SQL 查询，来删除 Person 表中所有重复的电子邮箱，重复的邮箱里只保留 Id 最小的那个。

SQL 去重操作

CC的博客

10-25

586

SQL 去重操作根据多个字段分组后去重操作，对于重复项取出 pkey值最大的一项 select * from 表名 where PKEY in (select max(PKEY) from 表名 group by (字段 1,字段 2,...... )） ...

Sql去重方法

sean_zhou的专栏

09-26

1408

前几天在群里见一朋友问一题目，据说是微软一朋友出的，剔除一张四亿条记录的表里面的重复数据。我的第一想法就是先分区，然后直接去重，合并。分区与合并暂时不觉得有问题，只是在去重代码上有争议，后来将我知道的三种方法测试了下，group_by效率最高，Distinct和Partition

sql server语句去重

m0_38011977的博客

07-08

5869

sql server一般有两种去重方式 1、distinct 使用distinct 进行去重，与oracle 不同的是 sql server中会指定一个字段进行去重有时候会因为数据与表格问题查询报错所以一般推荐使用第二种 2、使用函数 ROW_NUMBER() OVER (PARTITION BY A.DOC_ORDER_ID order by A.INSERT_TIME) rn 其中 order by不可缺少在原来的查询列中添加上面的语句原来是 select a from...

sql 去重复

最新发布

07-16

### 去除重复记录的方法在SQL中，去除重复记录可以通过多种方式实现，具体方法取决于表结构和需求。以下是几种常见的情况及其对应的处理方式。 #### 完全重复的记录对于完全重复的记录（即所有字段均重复），可以使用 `SELECT DISTINCT` 语句来获取无重复的结果集。例如： ```sql SELECT DISTINCT * FROM tableName; ``` 如果需要删除这些重复记录并仅保留一条，则可以借助临时表进行操作。首先将去重后的数据存入临时表，然后删除原表并重新插入数据[^1]。示例代码如下： ```sql SELECT DISTINCT * INTO #Tmp FROM tableName; DROP TABLE tableName; SELECT * INTO tableName FROM #Tmp; DROP TABLE #Tmp; ``` 此方法适用于设计不周导致的重复问题，通常建议通过增加唯一索引列来预防此类情况的发生。 #### 单个字段重复的记录当需要根据单个字段（如 `Id`）判断重复时，可以使用子查询结合聚合函数查找或删除多余的记录。以下查询可用于查找重复记录： ```sql SELECT * FROM 表 WHERE Id IN (SELECT Id FROM 表 GROUP BY Id HAVING COUNT(Id) > 1); ``` 若需删除重复记录并保留 `rowid` 最小的一条，则可以使用如下语句： ```sql DELETE FROM 表 WHERE (id) IN ( SELECT id FROM 表 GROUP BY id HAVING COUNT(id) > 1 ) AND rowid NOT IN ( SELECT MIN(rowid) FROM 表 GROUP BY id HAVING COUNT(*) > 1 ); ``` #### 多个字段重复的记录对于多个字段组合的重复记录（如 `Id` 和 `seq`），同样可以使用子查询与分组聚合的方式进行处理。查找重复记录的语句如下： ```sql SELECT * FROM 表 a WHERE (a.Id, a.seq) IN ( SELECT Id, seq FROM 表 GROUP BY Id, seq HAVING COUNT(*) > 1 ); ``` 删除多余记录并保留 `rowid` 最小的记录可以使用以下语句： ```sql DELETE FROM 表 a WHERE (a.Id, a.seq) IN ( SELECT Id, seq FROM 表 GROUP BY Id, seq HAVING COUNT(*) > 1 ) AND rowid NOT IN ( SELECT MIN(rowid) FROM 表 GROUP BY Id, seq HAVING COUNT(*) > 1 ); ``` #### 其他方法除了上述方法外，还可以使用更灵活的条件组合来处理复杂场景。例如，以下语句用于删除满足特定条件的重复记录： ```sql DELETE FROM ItemForScore WHERE ifsid NOT IN ( SELECT MIN(ifsid) FROM ItemForScore GROUP BY itemid, topflag, isactive HAVING COUNT(-1) > 1 ) AND itemid IN ( SELECT itemid FROM ItemForScore GROUP BY itemid HAVING COUNT(-1) > 1 ); ``` 该方法通过 `MIN()` 函数确保保留最小的主键值，并结合多字段分组实现精确去重 [^3]。 ---