sql去重

最新推荐文章于 2025-10-26 16:10:16 发布
原创 最新推荐文章于 2025-10-26 16:10:16 发布 · 529 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#distinct #table #partition #over #row_number

本文介绍了一种使用SQL进行数据去重的方法，特别是针对包含多个字段的情况。通过使用`DISTINCT`关键字实现单个字段去重，并利用`ROW_NUMBER()`结合`PARTITION BY`来查找并删除重复记录。

单个字段去重 distinct

多字段查重（去重使用delete）

多字段：cxkh,jysj

select shard_id ,row_number() over (partition by cxkh,jysj) counts from table )t where t.counts >2

SQL中的去重
rookie636的博客
08-02 987
DISTINCT 关键字用于返回唯一不同的值，一般放在查询语句中的第一个字段前使用。DISTINCT会将NULL值也看做成一个不同的值。DISTINCT去重假如有一张员工表：需要获取所有不重复的员工薪资和年龄的组合，如下编写SQL即可。
SQL去重
qq_56900618的博客
07-29 2159
SQL去重是数据分析工作中比较常见的一个场景，今天给大家具体介绍3种去重的方法。在使用SQL提数的时候，常会遇到表内有重复值的时候，比如我们想得到 uv （独立访客），就需要做去重。 在 MySQL 中通常是使用 distinct 或 group by子句，但在支持窗口函数的 sql（如Hive SQL、Oracle等等） 中还可以使用 row_number 窗口函数进行去重。举个栗子，现有这样一张表 task： 备注： task_id: 任务id; order_id: 订单id; ..
SQL Server 去重
07-21
关于SQL Server中的去重问题，内含详细测试数据
删除重复数据的5种写法，第3种连资深工程师都容易出错（SQL面试避坑指南）
CompiTide的博客
10-26 584
掌握SQL面试高频题关键技巧，5种删除重复数据写法详解，涵盖常见业务场景与执行效率对比，第3种方法易错点深度剖析。助你避开陷阱，提升查询性能，值得收藏。
浅谈sql数据库去重
12-15
关于sql去重，我简单谈一下自己的简介，如果各位有建议或有不明白的欢迎多多指出。 　　关于sql去重最常见的有两种方式：DISTINCT和ROW_NUMBER()，当然了ROW_NUMBER()除了去重还有很多其他比较重要的功能，一会我给大家简单说说我自己在实际中用到的。 　　假如有张UserInfo表，如下图：     　 　　现在我们要去掉完全重复的数据：SELECT DISTINCT * FROM dbo.UserInfo结果如下图： 　　 　　但是现在有个新的需求，要把名字为‘张三’的去重，也就是相同名字的只要一条数据，要是还用DISTINCT的话就很麻烦了。想必聪明的你已经想到此时
SQL去重的三种方法汇总
一个8年大数据开发工程师的碎碎念
06-05 1834
这篇文章主要介绍了SQL中去除数据表中重复记录的三种方法：distinct、group by和row_number窗口函数。
flink sql去重
zhdan~的专栏
04-14 2331
flink sql去重
Blink SQL去重语句
胜利的曙光的博客
04-24 1068
Blink SQL DISTINCT、FIRST_VALUE、LAST_VALUE的用法。
sql 去重、采样、解析、打分统计慢查询实现sql审核系统.zip
06-05
mysql
去重SQL
z394642048的博客
06-06 353
转载 ：http://www.jb51.net/article/129656.htm DELETE rqv FROM re_question_verify rqv, ( SELECT min(id) id, question_id, verify_id FROM re_question_verify GROUP BY question_id, verify_id HAVING...
SQL 数据去重
木下瞳的博客
12-16 473
网上有很多教程，这里我也贴一个现成的 https://blog.youkuaiyun.com/boss2967/article/details/79019467 去重后，保存为新表 CREATE TABLE before_12 AS SELECT * FROM ( SELECT DISTINCT all_before_12.id, all_before_12.buyTime FROM all_before_12 ) a; distinct 写在所有字段前面，代表以后面所有字段去重，.
SQL 去重操作
CC的博客
10-25 586
SQL 去重操作 根据多个字段分组后去重操作，对于重复项取出 pkey值最大的一项 select * from 表名 where PKEY in (select max(PKEY) from 表名 group by (字段 1,字段 2,...... )） ...
sql去除重复列（行）
weixin_33817333的博客
05-11 6942
有重复数据主要有一下几种情况： 1.存在两条完全相同的纪录 这是最简单的一种情况，用关键字distinct就可以去掉 example： select distinct * from table(表名) where (条件) 2.存在部分字段相同的纪录（有主键id即唯一键） 如果是这种情况的话用distinc...
Sql去重方法
sean_zhou的专栏
09-26 1408
前几天在群里见一朋友问一题目，据说是微软一朋友出的，剔除一张四亿条记录的表里面的重复数据。我的第一想法就是先分区，然后直接去重，合并。分区与合并暂时不觉得有问题，只是在去重代码上有争议，后来将我知道的三种方法测试了下，group_by效率最高，Distinct和Partition
sql——去重
学习小记
10-18 886
group by 和distinct都可以实现去重 牛客网上一题来看：找出所有员工当前(to_date='9999-01-01')具体的薪水salary情况，对于相同的薪水只显示一次,并按照逆序显示 group by方法： select salary from salaries where  to_date='9999-01-01' group by salary  order by sal...
SQL 去重
最新发布
10-31
SQL实现数据去重有以下几种常见方法： 1. **使用`DISTINCT`关键字**：`DISTINCT`放在`SELECT`后边，会对后面所有的字段的值统一进行去重。例如，如果`distinct`后面有两个字段，那么`1,1`和`1,2`这两条记录不是重复值。示例代码如下： ```sql SELECT DISTINCT column1, column2 FROM your_table; ``` 在去重后保存为新表时，可使用如下语句： ```sql CREATE TABLE new_table AS SELECT * FROM ( SELECT DISTINCT old_table.id, old_table.buyTime FROM old_table ) a; ``` 这里以`CREATE TABLE before_12 AS SELECT * FROM ( SELECT DISTINCT all_before_12.id, all_before_12.buyTime FROM all_before_12 ) a;`为例，将`all_before_12`表去重后的数据保存到`before_12`表中 [^1][^3][^4]。 2. **使用`GROUP BY`子句**：可以通过`GROUP BY`列出指定字段的所有唯一值（去重后的记录，`NULL`也是值）。例如，列出`task_id`的所有唯一值： ```sql SELECT task_id FROM Task GROUP BY task_id; ``` 若要统计去重后的任务总数，可以使用子查询： ```sql SELECT COUNT(task_id) task_num FROM (SELECT task_id FROM Task GROUP BY task_id) tmp; ``` [^4] 3. **使用`ROW_NUMBER()`函数（结合CTE）**：在SQL Server中，可以利用CTE和`ROW_NUMBER()`函数来查找和删除重复数据。`ROW_NUMBER()`函数会为结果集中的每一行分配一个唯一的行号，通过分区和排序可以标记出重复行。示例代码如下（假设要删除`your_table`中`column1`和`column2`重复的记录）： ```sql WITH CTE AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY column1, column2 ORDER BY (SELECT NULL)) AS rn FROM your_table ) DELETE FROM CTE WHERE rn > 1; ``` [^2] 4. **使用`EXISTS`子句**：可以使用`EXISTS`子句进行重复数据删除。通过子查询判断是否存在重复记录，若存在则进行相应操作。示例代码如下（假设要删除`your_table`中`column1`和`column2`重复的记录）： ```sql DELETE FROM your_table t1 WHERE EXISTS ( SELECT 1 FROM your_table t2 WHERE t1.column1 = t2.column1 AND t1.column2 = t2.column2 AND t1.id > t2.id ); ``` [^2]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值