利用row_number函数处理重复数据

最新推荐文章于 2024-05-27 11:50:21 发布
原创 最新推荐文章于 2024-05-27 11:50:21 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#insert #go #测试 #table

本文介绍了一种使用SQL的row_number()函数去除重复记录的方法。通过创建含有重复数据的测试表person，演示了如何利用row_number()函数配合partition by子句来筛选并保留每组中的第一条记录，最终将去重后的数据保存到新表tmp中。
 
利用row_number函数处理重复数据
 
--创建测试表person
CREATE TABLE person(
    sn varchar(10),
    name varchar(50)
);
go
 
--插入测试重复数据
insert into person values('1','guoqiang1');
insert into person values('1','guoqiang1');
insert into person values('1','guoqiang1');
insert into person values('2','guoqiang2');
insert into person values('2','guoqiang2');
insert into person values('3','guoqiang3');
go
 
--查看person表
select * from dbo.person;
go
 
--去除重复数据，并放到tmp表中
select sn,name into tmp from
(select *, row_number() over(partition by sn order by sn) as rank from person) as t
where t.rank = 1
go
 
--查看tmp表
select * from dbo.tmp
go
 
 
Hive SQL 窗口函数 `ROW_NUMBER() ` 案例分析
进一步有进一步的欢喜~
12-25 1400
本文深入探讨了 Hive SQL 中 ROW_NUMBER() 函数结合 PARTITION BY 和 ORDER BY 的强大功能，通过具体案例展示了如何在数据去重、排名计算和分页查询等场景中灵活应用这些技术。从员工薪资排名到最新交易记录的获取，再到月度销售冠军的计算。无论是初学者还是经验丰富的数据分析师，都能从中获得宝贵的技巧和灵感，提升数据分析效率。
SQLServer中Partition By及row_number 函数使用详解
12-15
在SQL Server中，`PARTITION BY` 和 `ROW_NUMBER()` 是两种非常重要的分析函数，它们在处理大数据集时尤其有用。`PARTITION BY` 用于将结果集分成多个分区，而`ROW_NUMBER()` 用于为每个分区内的行分配唯一的序列号...
巧妙使用ROW_NUMBER()函数删除重复数据
Freshboya的博客
01-20 4307
在工作中通常会处理一些异常的数据，异常数据中重复数据最为常见。下面介绍一种用ROW_NUMBER()处理异常数据的办法。可以挑选出其中的一条保留其他数据清理掉。 如图 如图中数据所示每一个accept 都有多个，但是只需要一个。 我们可以通过一下语句挑选出来 -- 去除重复accept SELECT * from ( SELECT ROW_NUMBER() over(PARTITION by z.accept ) rn ,z.* FROM data202201 z WHERE z.acc
oracle ROWNUM分页出现重复数据
小码蚁
11-17 2207
Oracle分页数据重复；Oracle分页踩坑
删除表中重复的记录：使用窗口函数 row_number() over 或 选择复制insert into select 或普通的子表分组select max group by having
qq120631157的博客
08-09 917
删除表中重复的记录：使用窗口函数 row_number() over 或 选择复制insert into select 或普通的子表分组select max group by having
SQL删除重复的记录(只保留一条)-窗口函数row_number()
一个喜欢诗和远方的程序媛
05-18 4731
关键字用来指定函数执行的窗口范围，如果后面括号中什么都不写，则意味着窗口包含满足where条件的所有行，窗口函数基于所有行进行计算；2、通过查询结果可知，重复的数据行seq_id为2、7的数据过滤掉了，接下来NOT IN 操作应该删除2、7重复数据行。除非以下条件成立，否则不保证在每次执行时，使用 ROW_NUMBER() 的查询所返回行的顺序都完全相同。原因：不能先select出同一表中的某些值，再update这个表(在同一语句中)，即不能依据某字段值做判断再来更新某字段的值。
hive的row_number数据重复时排序规则
qq_65382771的博客
05-27 1687
hive的row_number排序，如果数据重复，会按照怎样的顺序排序
SQL Server中row_number函数的常见用法示例详解
12-14
一.SQL Server Row_number函数简介 ROW_NUMBER()是一个Window函数，它为结果集的分区中的每一行分配一个连续的整数。 行号以每个分区中第一行的行号开头。 以下是ROW_NUMBER()函数的语法实例： select *，row_...
深入探讨:oracle中row_number() over()分析函数用法
09-10
总之，`row_number() over()`是Oracle数据库中一个强大的分析函数，能够帮助我们处理和组织数据，特别是在需要对大量数据进行排序和分组时。通过灵活运用`PARTITION BY`和`ORDER BY`子句，我们可以实现复杂的数据...
ROW_NUMBER SQL Server 2005的LIMIT功能实现(ROW_NUMBER()排序函数)
09-11
ROW_NUMBER() 函数是 SQL Server 2005 ...通过这些示例，我们可以看到 ROW_NUMBER() 函数在 SQL Server 中的强大功能，它不仅可以用于实现分页，还能在复杂的查询中进行行的排序和分组，从而提供更灵活的数据处理能力。
rank() dense_rank()row_number()
hello_xing的博客
10-27 558
rank()排序相同时会重复，总数不变，即会出现1、1、3这样的排序结果； dense_rank()排序相同时会重复，总数会减少，即会出现1、1、2这样的排序结果； row_number()排序相同时不会重复，会根据顺序排序
Hive使用row_number()函数有重复值，顺序固定吗
一个8年大数据开发工程师的碎碎念
11-02 1万+
分组topN。求出每个部门工资最高的员工信息 建表语句 create table employee (empid int ,deptid int ,salary decimal(10,2)); 插入数据 insert into employee values(1,10,5500.00); insert into employee values(2,10,4500.00); insert into...
分析函数(ROW_NUMBER、RANK、DENSE_RANK)的用法
sageparadise的专栏
09-14 1083
ROW_NUMBER() Row_number函数返回一个唯一的值，当碰到相同数据时，排名按照记录集中记录的顺序依次递增。 说明：返回结果集分区内行的序列号，每个分区的第一行从 1 开始。 语法：ROW_NUMBER () OVER ( [ ] ) 。 备注：ORDE
排名函数row_number()、 rank()、 dense_rank()、ntile()、partition by的区别及具体用法示例
weixin_45875358的博客
10-25 4111
row_number()排序相同时不会重复，会根据顺序排序；排名举例：1、2、3、4； rank()排序相同时会重复，总数不变；排名举例：1、2、2、4； dense_rank()排序相同时会重复，总数会减少；排名举例：1、2、2、3； ntile()确认最高排名，最高排名需要小于等于总数；排名举例ntile(N)：1、2、3...N; partition by先分组，在进行组内排名；
MySQL row_number()函数,rank()函数和dense_rank()函数
DU9999999的博客
03-13 1615
快速了解MySQL窗口函数
开窗函数ROW_NUMBER() OVER()函数用法详解，并巧妙使用ROW_NUMBER()函数进行数据去重
热门推荐
weixin_46574678的博客
01-18 3万+
ROW_NUMBER() OVER()函数用法详解，并巧用ROW_NUMBER()函数删除重复数据
Oracle row_number()；rank()；dense_rank()的异同
脱耦的博客
04-23 810
1.相同点： 都可以对记录进行排序。 2.不同点： row_number()排序，即使有相同值排序也不重复。 rank()排序，有相同的值，则排序相同，但是排序不连续。 dense_rank()排序，有相同的值，则排序相同，且排序连续。 实际场景： 根据课程成绩进行排序 1.使用row_number()排序 SQL: SELECT T1.STU_NO, T1....
利用row_number() ，over和partition by 语句来操作指定字段重复的数据
SilentJhin
05-21 2345
软件：sql server 2014 核心语句： select row_number() over ( partition by 重复字段 order by 排序字段 ) as flag, * from 表名 1 准备语句： drop table eDelRepeatData create table eDelRepeatData ( ID int identity(1,1...
MySQL order by 排序使用的字段有重复值导致排序随机的情况
fd135的博客
07-15 1416
生产环境一个列表页的查询sql: select epc.id, epc.contractName, epc.contractType, epc.officerId,ee.employeeName officerName from er_product_contract epc left join er_employee ee on epc.officerId = ee.employeeId LEFT JOIN simu_product p ON epc.productCode
row＿number函数
最新发布
07-05
### 什么是 ROW_NUMBER() 函数？ ROW_NUMBER() 是 SQL 中一个重要的窗口函数，主要用于为查询结果集中的每一行分配一个唯一的连续整数编号。这个编号的生成基于指定的排序顺序，并且可以在每个分区（如果使用了 `PARTITION BY` 子句）内独立计算[^3]。 与传统的行号功能不同，ROW_NUMBER() 提供了更强大的灵活性和控制能力，允许用户根据特定需求对数据进行编号。它广泛应用于数据分页、排名分析以及复杂的数据处理任务中。 ### ROW_NUMBER() 的基本语法 ```sql ROW_NUMBER() OVER ( [PARTITION BY partition_expression, ... ] ORDER BY sort_expression [ASC | DESC], ... ) ``` - `PARTITION BY`：将数据划分为多个逻辑分区，ROW_NUMBER() 在每个分区内单独计数。 - `ORDER BY`：定义每一行在分区内的排序规则，从而决定编号的顺序。 ### 常见用途和使用示例 #### 示例1: 对查询结果添加行号 当需要为查询结果的每一行分配唯一编号时，可以使用 ROW_NUMBER() 来实现。例如，从 `test_user` 表中查询所有记录并按 `id` 排序后添加编号列： ```sql SELECT ROW_NUMBER() OVER (ORDER BY id) AS 编号, * FROM test_user; ``` 该语句会在结果集中新增一列“编号”，并按照 `id` 升序排列为每条记录分配递增的整数[^2]。 #### 示例2: 按分组生成行号 在某些场景下，可能希望在不同的数据分组内部重新开始编号。此时可以结合 `PARTITION BY` 使用。例如，在 `orders` 表中按客户分组，并为每个客户的订单编号： ```sql SELECT customer_id, order_date, amount, ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY order_date) AS order_seq FROM orders; ``` 此查询会为每个 `customer_id` 分区内的订单按日期排序并分配序列号，适用于跟踪客户订单的先后顺序。 #### 示例3: 数据去重与筛选 ROW_NUMBER() 可用于识别和删除重复数据。例如，查找 `employees` 表中每个部门工资最高的员工： ```sql WITH RankedEmployees AS ( SELECT department_id, employee_id, salary, ROW_NUMBER() OVER (PARTITION BY department_id ORDER BY salary DESC) AS rank FROM employees ) SELECT * FROM RankedEmployees WHERE rank = 1; ``` 通过在每个部门内按工资降序排列并选择排名为1的记录，可以快速获取每个部门薪资最高的员工信息。 #### 示例4: 实现分页查询 在 Web 应用中，数据分页是常见的需求。ROW_NUMBER() 可以帮助构建高效的分页机制。例如，获取第 2 页的数据，每页显示 10 条记录： ```sql WITH PagedData AS ( SELECT ROW_NUMBER() OVER (ORDER BY id) AS row_num, * FROM products ) SELECT * FROM PagedData WHERE row_num BETWEEN 11 AND 20; ``` 通过限制 `row_num` 的范围，可以轻松地提取特定页面的数据内容。 ### 注意事项 尽管 ROW_NUMBER() 非常强大，但在使用时也需要注意以下几点： - **唯一性问题**：当 `ORDER BY` 列存在重复值时，ROW_NUMBER() 仍然会为每行分配唯一的编号，但其顺序可能不可预测。 - **性能影响**：对于大数据量表，使用复杂的 `PARTITION BY` 和 `ORDER BY` 可能会影响查询性能，建议合理使用索引优化。 - **替代函数**：在某些情况下，如需允许重复编号，可以考虑使用 RANK() 或 DENSE_RANK() 等其他窗口函数。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值