#HIVE#Row_number的使用

最新推荐文章于 2025-05-06 09:00:00 发布

原创最新推荐文章于 2025-05-06 09:00:00 发布 · 2.5k 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop&hive 专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何在Hive中使用ROW_NUMBER()函数，并通过一个具体案例展示了如何结合distribute by和sort by来实现对特定字段进行降序排列并为每条记录分配唯一编号的过程。最终目的是获取按某字段降序排列的各维度数据的前100条记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（1）函数说明：

ROW_NUMBER():

这个函数，使用Hive中的distribute by user_id按照相同的keyword分发到相同的reduce中，然后对某个keyword进行降序排列，对每个记录附上编号。根据编号的不同，可以进行一些选择。

（2）应用：

a>首先要加载这个包：
add jar /home/shaojie/taobao_udf-0.1.jar;
CREATE TEMPORARY FUNCTION row_number

As'com.taobao.ad.data.search.udf.UDFrow_number';

b>加载以后，使用它：

drop table t_dq_important_sort;
create table t_dq_important_sort as
select b.*
from
(
select a.custid,a.info,a.query,a.jizhun_xiaohao,a.test_xiaohao,row_number(custid,info,query) as n
from
(
select custid,info,query,jizhun_xiaohao,test_xiaohao
from t_dq_important_custid
distribute by custid,info,query
sort by jizhun_xiaohao desc) a) b
where b.n<=100;

说明：根据custid,info,query来分发到相同的reduce中，然后我的目的是要得到按照jizhun_xiaohao降序排列的数据，所以sort by desc，最后，取每个维度数据的TOP 100。