hive 分组取每个组中的top N条记录

最新推荐文章于 2020-09-15 23:14:35 发布
原创 最新推荐文章于 2020-09-15 23:14:35 发布 · 885 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文介绍了一种使用 SQL 进行复杂数据排序和筛选的方法。通过 DISTRIBUTE BY 和 SORT BY 子句结合 ROW_NUMBER 函数，可以高效地实现按特定字段升序及另一字段降序排列，并限制返回结果的数量。
  1. SELECT id, rate, score FROM
  2. (SELECT * 
  3. 　　FROM user_score 
  4. 　DISTRIBUTE BY rate 
  5. 　SORT BY rete ASC, score DESC
  6. ) 
  7. WHERE ROW_NUMBER(rete) <= 2  
Hive,分组后前几，Top N，记录
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-28 3173
select * from sales_info where dt = '2019-04-26'; 查询每个分类下，GMV（销售额）前三的商品明细： select a.* FROM ( select sku_id,sku_name,category_id3,sales_count,price,sales_count*price, row_number() over...
hive中连续N天登录问题、topN问题、拉链表实现
weixin_44870066的博客
11-25 3600
hive中连续N天登录、topN问题、拉链表
hive 分组取TopN
07-10
hive不直接支持分组取TopN的操作，需要自定义udf函数打成jar包添加到hive运行环境中
提取各大类目下分享量top500的用户的需求总结
H@ppy
04-27 189
[color=olive][size=medium]历经了一周几乎天天加班的日子，终于把这个提取靠谱数据的复杂规则需求搞定了，现在对做这次需求做一些总结： ①、接到需求时是三周以前，当时改需求的优先级并不高，所以先忙于其他淘单的优化点，之后的一周里我把提取数据的hive和会调用的接口都已经整理好，但是一直没有开始在云梯上执行，原因是之前志宏说在做每一个需求之前自己把思路理清楚，设计流程跟他讲一遍...
[转]Hive中对group结果分组取limit N值的实现
蚂蚁学Python
01-14 2218
转载引言： 数据处理中遇到了取全国各个省份的效果数据先排序后limit 100的需求，HIVE自带功能无法实现，网上搜了下该文章的方法直接拷贝过来就能实现。将其中的代码复制过来后可以用maven打成Jar包，然后在hive中即可使用。 观察代码可以看出，由于是取各个分组的top数据，因此可以先用distribute和sort进行数据分区并排序，在各个reduce节点上，由于运行的是单个JVM虚...
Hive 用ROW_NUMBER取每组top n
半路出家，立地为猿
04-26 1万+
今天用hive查数据时需要取每个分组的第一条数据，查了一发现hive 已经从0.11.0版本加入row_number函数，可以满足查询的需求。ROW_NUMBER() 是从1开始，按照顺序，生成分组内记录的序列 用法如下： ROW_NUMBER() OVER (partition BY COLUMN_A SORT BY COLUMN_B ASC/DESC) rn rn 是排序的别名执行时每
Hive之查询语法---常用函数,Limit,where,分组,join ,排序(5)
桂林算啦粉的博客
09-15 7870
一 查询 1 语句的查询顺序 二 基本查询 1 基本查询 1) show function ; 查询所有的函数 2) desc function "函数名" ; 查看某个函数具体的语法(怎么用) 2 常用函数 1) 求总行数(count) : hive (default)> select count(*) cnt from emp; ---cnt 是总行数的别名 2) 求工资的最大值 :hive (default)&gt...
精选资源
Hive中分组取topN_row_number-rank和dense_rank的使用.pdf
04-07
在这篇文档中，我们将详细学习在Hive中如何进行分组取topN，以及如何使用row_number()、rank()和dense_rank()三种窗口函数进行数据排序和排名。 首先，Hive中的数据表创建和数据插入操作是数据查询和分析的前提。...
hive 实现分组取每组的前三条记录
liumeifang
06-26 8856
业务需求 有以下两张表 --雇员表 create table emp( empno INT,COMMENT '雇员编号' ename STRING,COMMENT '雇员名字' job STRING,COMMENT '雇员职位' mgr INT,COMMENT '雇员领导编号' hiredate STRING,COMMENT '雇员入职时间' sal DOUBLE,COMMENT '雇员薪...
Hive_ Hive 中 TopN 的实现 -》 利用row_number() 函数实现分组TopN
迎难而上
03-05 2285
参考文章： 1.Hive row_number() 等用法 https://www.cnblogs.com/Allen-rg/p/9268627.html 2.Hive中分组取前N个值 https://www.cnblogs.com/1130136248wlxk/articles/5352145.html TopN 功能一直是一个热门的话题，下面我们看在...
Hive 多行合并和分组limit输出 UDF工具包
11-17
用于多行合并和分组limit输出的udf工具包，已编译配置好，直接调用即可
hive中分组取前N个值的实现
weixin_34245169的博客
01-30 727
背景 假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前100名的学生成绩。 这个就是典型在分组取Top N的需求。   解决思路 对于取出每科成绩前100名的学生成绩，针对学生成绩表，根据学科，成绩做order by排序,然后对排序后的成绩，执行自定义函数row_number(),必须带一个或者多个列参数，如ROW_NUMBER(col1, ....)，它的作用是按指定的列进...
hive按照某个字段分组，然后获取每个分组中最新的n条数据
涂作权的博客
12-19 1万+
hive -e “use db; select t.advertId,t.exposureNum from (select advertId,exposureNum,ROW_NUMBER() OVER(PARTITION BY advertId ORDER BY addTime desc) AS rn FROM tb_advert_flow_money where ftype = 2) t whe...
Hive分组取第一条记录
weixin_30612769的博客
11-30 4765
需求 交易系统，财务要求维护每个用户首个交易完成的订单数据（首单表，可取每个用户交易完成时间最老的订单数据）。举例： 简写版的表结构： 表数据： 则 财务希望汇总记录如下： uid order_id service_completion_time 2 44 2017-02-03 12:23:01.0 3 33 2017-11-30 12:23:01.0 hiv...
Hive.分组排序和TOP
辰采星
04-16 1万+
HQL中的order by子句执行的排序操作始终是全局的，我们有时候想要的却是分组排序，即按fieldA排序以后，然后针对fieldA的每个值所对应的fieldB和（或）fieldC排序，而不是像order by那样，针对所有fieldA的值对fieldB和（或）fieldC排序。
hive分组排序 取top N
weixin_30701521的博客
01-15 696
pig可以轻松获取TOP n。书上有例子 hive中比较麻烦，没有直接实现的函数，可以写udf实现。还有个比较简单的实现方法： 用row_number，生成排名序列号。然后外部分组后按这个序列号多虑，样例代码如下 select a.* from( select 品牌,渠道,档期,count/sum/其它() as num row_number() ove...
Hive实现分组排序、分组求取topN或者分页的实现方法
helloxiaozhe的博客
02-28 1万+
使用到的语法：ROW_NUMBER() OVER(PARTITION BY COL1 ORDER BY COL2) 简单的说row_number()从1开始，为每一条分组记录返回一个数字，这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序，再为降序以后的每条xlh记录返回一个序号。 表示根据COL1分组，在分组内部根据 COL2排序，而此函数计算的...
hive 分组+组内排序 , 求topN
热门推荐
大数据训练营
10-22 3万+
================================新的实例 更好理解 数据: 四列的表,第一列id,第二列渠道,第三列系统,第四类访问日期 0: jdbc:hive2://hadoop009.dx.momo.com:2181,ha> select * from dc_dev.tmp_row_num; tmp_row_num.muid tmp_row_num.channeltm...
hive-组内排序取前100
u013200776的专栏
07-25 4777
每个mod按ck_num/exp_num倒序排序取前100 select ‘endweek′,′ckexp′ranktype,mod,groupid,bookid,expnum,cknumfrom(selectmod,(Rank(mod)+1)asrank,groupid,bookid,expnum,cknumfrom(selectmod,split(curl,′/′)[4]groupid,spl
hive中rownum
最新发布
11-25
<think> 我们正在讨论Hive中rownum的使用方法和相关功能。根据引用[1]，我们知道在Oracle中可以使用分析函数row_number() over来实现rownum分组，而在Hive中可能需要使用UDF（用户自定义函数）来实现类似的功能。 在Hive中，并没有内置的rownum函数，但是Hive提供了窗口函数（分析函数）的功能，其中包括row_number()函数，它可以在指定的窗口内为每行数据生成一个唯一的序号，类似于rownum。因此，实际上在Hive中我们可以使用row_number() over()来实现同样的效果，而不必使用UDF。 下面我将详细解释如何在Hive中使用row_number()函数： ### 1. row_number()函数的基本用法 row_number()函数会为每一行分配一个唯一的序号（从1开始），这个序号是基于over子句中指定的排序规则。 语法： ```sql SELECT column1, column2, ..., row_number() OVER (PARTITION BY partition_column ORDER BY sort_column) as rn FROM table_name; ``` - `PARTITION BY`：可选，用于将结果集分成多个分区，每个分区内独立编号。 - `ORDER BY`：指定每个分区内行的排序方式。 ### 2. 示例 假设有表`sales`，包含字段`user_id`和`buy_num`，我们想为每个`user_id`按`buy_num`降序生成行号（rownum）。 数据示例： ``` user_id buy_num 1 30 1 20 1 10 2 50 2 20 ``` 使用row_number()函数： ```sql SELECT user_id, buy_num, row_number() OVER (PARTITION BY user_id ORDER BY buy_num DESC) as rn FROM sales; ``` 结果： ``` user_id buy_num rn 1 30 1 1 20 2 1 10 3 2 50 1 2 20 2 ``` ### 3. 注意事项 - 当使用多个map任务时，使用UDF实现rownum可能会因为静态变量不被共享而导致错误（如引用[1]中所述）。而使用窗口函数row_number()则不会出现这个问题，因为它是分布式计算的。 - 在Hive中，窗口函数在Hive 0.11及以上版本支持较好，如果使用较旧版本，可能需要升级或寻找替代方案。 ### 4. 其他窗口函数 Hive还提供其他窗口函数，如： - `rank()`：相同的值会有相同的排名，并且会跳过后续排名（例如：1,2,2,4）。 - `dense_rank()`：相同的值会有相同的排名，但不会跳过后续排名（例如：1,2,2,3）。 - `ntile(n)`：将数据分成n组。 ### 总结 在Hive中，我们可以使用内置的窗口函数`row_number()`来生成rownum，而不需要编写UDF。这种方法更高效、更可靠，并且符合Hive的标准用法。 §§相关问题§§ 1. Hive中窗口函数的使用场景有哪些？ 2. 如何优化Hive中窗口函数的性能？ 3. Hive的row_number()函数和Oracle的rownum有什么异同？ [^1]: 引用自用户提供的HIVE迁移的点点滴滴（二） [^2]: 引用自用户提供的hbaseTemplate示例（虽然与Hive rownum无关，但作为参考） </think> 在 Hive 中实现类似 Oracle 的 `rownum` 功能主要通过窗口函数实现，以下是详细的使用方法和功能说明： ### 一、Hive 中 rownum 的实现方法 #### 1. 使用 `row_number()` 窗口函数（推荐） ```sql SELECT user_id, buy_num, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY buy_num DESC) AS rownum FROM sales_table; ``` **结果示例**： ``` user_id | buy_num | rownum --------|---------|------- 1 | 30 | 1 1 | 20 | 2 1 | 10 | 3 2 | 50 | 1 2 | 20 | 2 ``` #### 2. 使用 UDF 方法（旧版 Hive 备用） ```java // 自定义 UDF 代码示例（RowNumUDF.java） public class RowNumUDF extends UDF { private static int currentRowNum = 0; private static String lastKey = null; public int evaluate(String key) { if (!key.equals(lastKey)) { currentRowNum = 0; lastKey = key; } return ++currentRowNum; } } ``` **注册使用**： ```sql ADD JAR /path/to/rownum_udf.jar; CREATE TEMPORARY FUNCTION rownum_udf AS 'com.example.RowNumUDF'; SELECT user_id, buy_num, rownum_udf(user_id) AS rownum FROM sales_table ORDER BY user_id, buy_num DESC; ``` ### 二、核心功能对比 | **功能** | `row_number()` 窗口函数 | UDF 方法 | |------------------------|------------------------------------|------------------------| | 分布式支持 | ✅ 多 reducer 并行安全 | ❌ 静态变量冲突风险[^1] | | 排序灵活性 | ✅ 支持任意排序字段 | ❌ 依赖输入排序 | | 分组控制 | ✅ `PARTITION BY` 精确分组 | ❌ 仅支持单字段分组 | | 执行性能 | ✅ 优化器自动优化 | ❌ 需额外 MapReduce 作业 | | Hive 版本要求 | ≥ 0.11 | 所有版本 | ### 三、进阶用法 #### 1. 多级排序 ```sql SELECT ROW_NUMBER() OVER ( PARTITION BY department ORDER BY salary DESC, hire_date ASC ) AS rank FROM employees; ``` #### 2. 获取 Top N 记录 ```sql SELECT * FROM ( SELECT product_id, sales, ROW_NUMBER() OVER (ORDER BY sales DESC) AS rn FROM sales_data ) tmp WHERE rn <= 10; -- 获取 Top 10 ``` #### 3. 与其它窗口函数结合 ```sql SELECT user_id, buy_num, ROW_NUMBER() OVER w AS rownum, RANK() OVER w AS rank, -- 并列排名会跳号 DENSE_RANK() OVER w AS drank -- 并列不跳号 FROM sales_table WINDOW w AS (PARTITION BY user_id ORDER BY buy_num DESC); ``` ### 四、性能优化建议 1. **分区剪枝**：在 `PARTITION BY` 条件上建立分区表 ```sql CREATE TABLE sales_partitioned ( buy_num INT ) PARTITIONED BY (user_id INT); ``` 2. **桶表优化**：对大数据集使用分桶 ```sql CREATE TABLE sales_bucketed ( user_id INT, buy_num INT ) CLUSTERED BY (user_id) INTO 32 BUCKETS; ``` 3. **向量化执行**：启用优化（Hive 2.3+） ```sql SET hive.vectorized.execution.enabled=true; SET hive.vectorized.execution.reduce.enabled=true; ``` > **最佳实践**：优先使用 `row_number()` 窗口函数，其执行效率比 UDF 高 3-5 倍，且避免分布式环境下的计算错误[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值