Hive经排序后查询前N条记录

最新推荐文章于 2024-01-29 15:37:16 发布
原创 最新推荐文章于 2024-01-29 15:37:16 发布 · 2.1w 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HIVE #排序 #赋予行号

本文介绍了在Hive中如何进行排序并查询每个分组的前N条记录。通过使用`row_number() over (partition by ... order by ...)`函数，可以实现按指定字段分区并排序，从而获取每个分组内的TopN结果。文中给出了多个实例，分别展示了不同分组条件下的排序和取前N条记录的操作。

基础知识：

hive的排序查询的语法是

row_number() over (partition by 字段a order by 计算项b desc ) rank 

--这里rank是别名

partition by：类似hive的建表，分区的意思；

order by ：排序，默认是升序，加desc降序；

这里按字段a分区，对计算

最低0.47元/天 解锁文章

新学期VIP享超值加赠
Hive,分组后前几，Top N，记录
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-28 3062
select * from sales_info where dt = '2019-04-26'; 查询每个分类下，GMV（销售额）前三的商品明细： select a.* FROM ( select sku_id,sku_name,category_id3,sales_count,price,sales_count*price, row_number() over...
Hive学习笔记（HiveQL数据查询基础）
qq_50834939的博客
11-30 2597
Hive学习笔记（HiveQL数据查询基础）HiveQL数据查询语句SELECT语句WHERE语句GROUP BY语句HAVING分组筛选ORDER BY语句和SORT BY语句HiveQL查询语句JOIN语句 HiveQL数据查询语句 SELECT语句 SELECT语法结构如下： SELECT */field1,field2....FROM tableName, 例：sogo表中结构信息如下： 查询sogo总条数代码： hive>SELECT cout(*) FROM sogo.sogo; 查
查询前几条记录
03-17
NULL 博文链接：https://tanghaidi.iteye.com/blog/487512
SQL查询前几条记录
风亦飞的专栏
09-15 3455
ORACLE查询前几条记录 SQLSERVER查询前几条记录 MYSQL查询前几条记录
Hive和MySQL分组排序取前n条记录
u011250186的博客
09-10 2630
实例需求 有一张职员信息表test（id，姓名，部门，入职时间），要求：查询出各部门最早入职的职员信息，表数据如下图： Hive实现 语法：row_number() over (partition BY 字段A order by 字段B desc) partition by：类似hive的建表，分区的意思； order by ：排序，默认是升序，加desc降序； 这里按字段A分区，对字段B进行降序排序 引用上面语法（按部门分组，按时间正序排序）查询row_num， 查询语句： SE...
Hive 之 查询 03-排序
恋梦轩
04-02 523
记录了Hive查询中的排序的相关知识、
Hive排序，窗口函数
m0_73469590的博客
03-09 1130
Hive排序，窗口函数
HiveSQL题——排序函数(row_number/rank/dense_rank)
爱吃辣条的博客
01-29 3047
HiveSQL题——排序函数(row_number/rank/dense_rank)
hive-组内排序取前100
u013200776的专栏
07-25 4751
每个mod按ck_num/exp_num倒序排序取前100 select ‘endweek′,′ckexp′ranktype,mod,groupid,bookid,expnum,cknumfrom(selectmod,(Rank(mod)+1)asrank,groupid,bookid,expnum,cknumfrom(selectmod,split(curl,′/′)[4]groupid,spl
hive udf 分组取top1,Hive通过查询获取组中前n个记录
weixin_28487725的博客
12-23 151
I have following table in hiveuser-id, user-name, user-address,clicks,impressions,page-id,page-nameI need to find out top 5 users[user-id,user-name,user-address] by clicks for each page [page-id,page-...
hive 分组取TopN
07-10
hive不直接支持分组取TopN的操作，需要自定义udf函数打成jar包添加到hive运行环境中
Hive之查询
Movle
05-11 7362
目录 一.查询     1.1 基本查询（Select…From）         1.1.1 全表和特定列查询         1.1.2 列别名         1.1.3 算术运算符    &n.
hive 取top100
weixin_38987362的博客
07-02 9157
select * from(select cate1,cate2,title,count(uid),row_number() over(partition by cate1,cate2 order by count(uid) desc) as n from t_ods_video_user_behaviorwhere idfa is not null and dt >= 20180621 a...
hivesql
wanquan2001的博客
11-03 2927
13485646546
07：Hive从0到1系列学习：查询之排序查询
weixin_46429290的博客
12-25 823
内容目录查询（重点）排序查询①全局排序：order by②每个reduce内部排序：sort by③分区：distribute by④Cluster by 查询（重点） 查询的基本语法 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list| [D
Hive分组统计前top N条记录
mori66
01-22 7786
参考这篇博客而写：http://blog.youkuaiyun.com/longshenlmj/article/details/50525385 本 Hive 语句的目的是统计中国每个省份下所有城市记录出现总次数为前5的结果。 hive -e " select bb.* from ( select country_name, province_name, city_name
SQL显示查询结果的前100条
热门推荐
懒得打字
08-26 6万+
MYSQL: select * from tbl limit 100;ORACLE: select * from tbl where rownumSQL SERVER:select top 100 * from tblSYBASE: SET ROWCOUNT N GOSELECT * FROM TABLE1
Hive 系列（八）—— Hive 数据查询详解
weixin_30362083的博客
08-23 1355
一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 ename STRING, -- 员工姓名 job STRING,...
hive排序函数
最新发布
03-28
<think>嗯，用户想了解Hive中的排序函数及其用法，还要求示例。我需要先回忆一下Hive的排序相关函数。记得Hive里有几个常用的排序函数，比如ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY，还有窗口函数中的排序，比如ROW_NUMBER()、RANK()、DENSE_RANK()。 首先，ORDER BY是全局排序，但可能会造成性能问题，因为所有数据会被集中到一个Reducer处理。而SORT BY是在每个Reducer内部排序，但需要结合DISTRIBUTE BY来指定分发的key，这样可以控制数据分布到不同的Reducer，然后在每个Reducer内部排序。CLUSTER BY其实是DISTRIBUTE BY和SORT BY的组合，当两者的字段相同时，可以用CLUSTER BY简化。 然后是窗口函数中的排序函数，比如ROW_NUMBER()会给每一行一个唯一的序号，而RANK()和DENSE_RANK()处理并列排名的情况不同。这些在去重或者分组排序时很有用，比如取每个分组的Top N记录。 用户给的引用里提到sort_array函数，这个函数可以对数组类型的列进行排序，返回有序数组。另外，array_contains用于检查数组是否包含某个值，但用户的问题主要是排序函数，所以可能需要重点讲sort_array和排序相关的窗口函数。 还要注意示例部分，可能需要用Hive SQL的代码块来展示不同排序函数的用法。例如，使用ORDER BY的示例，SORT BY和DISTRIBUTE BY的组合，以及窗口函数中的ROW_NUMBER()的应用场景。 需要检查每个函数的语法是否正确，比如窗口函数中的PARTITION BY和ORDER BY的使用，以及别名是否正确。另外，类型转换函数cast可能在某些情况下和排序一起使用，比如将字符串转为数值再排序，但用户的问题主要围绕排序，可能不需要深入讨论类型转换，除非示例中有涉及。 还要考虑用户可能的实际应用场景，比如数据清洗、去重、分组统计等，所以示例需要贴近实际应用。例如，使用ROW_NUMBER()去重，保留最新的记录，或者使用RANK()计算销售排名。 最后，生成相关问题时要围绕排序函数的不同方面，比如性能优化、区别、窗口函数应用等，参考之前提供的引用内容，比如引用3提到排序类窗口函数在去重中的重要性，可以相关问题涉及应用场景或去重方法。</think>### Hive排序函数详解及示例 Hive中排序函数分为基础排序操作和窗口排序函数两类，以下为分类说明和实际应用示例： #### 一、基础排序操作 1. **全局排序 `ORDER BY`** 对全表数据排序（仅启动1个Reduce任务） ```sql SELECT employee_id, salary FROM employees ORDER BY salary DESC LIMIT 5; --取全公司薪资TOP5 ``` 2. **局部排序 `SORT BY`** 在Reduce阶段内部排序（需配合`DISTRIBUTE BY`使用） ```sql SET mapred.reduce.tasks=3; --设置Reducer数量 SELECT department_id, employee_name FROM employees DISTRIBUTE BY department_id SORT BY employee_name; --按部门分发后排序 ``` 3. **智能排序 `CLUSTER BY`** 等价于`DISTRIBUTE BY`和`SORT BY`同字段的简写 ```sql SELECT product_category, sales FROM transactions CLUSTER BY product_category; --按品类分发并排序 ``` #### 二、数组排序函数 `sort_array`函数可对数组字段进行排序： ```sql SELECT tags, sort_array(tags) AS sorted_tags FROM user_profiles; --将用户标签数组按字母排序 /* 输入：["python","java","c++"] 输出：["c++","java","python"] */ ``` #### 三、窗口排序函数（核心应用） 1. **行号标记 `ROW_NUMBER()`** 常用于数据去重[^3]： ```sql SELECT user_id, log_time, action_type FROM ( SELECT *, ROW_NUMBER() OVER ( PARTITION BY user_id ORDER BY log_time DESC ) AS rn FROM user_logs ) tmp WHERE rn = 1; --保留每个用户最新日志 ``` 2. **并列排名处理** - `RANK()`：出现并列时跳过后续序号 $$ 1,2,2,4 $$ - `DENSE_RANK()`：并列后连续编号 $$ 1,2,2,3 $$ ```sql SELECT product_id, sales, RANK() OVER (ORDER BY sales DESC) AS rank, DENSE_RANK() OVER (ORDER BY sales DESC) AS dense_rank FROM sales_data; ``` #### 四、性能优化建议 1. 在`ORDER BY`场景下添加`LIMIT`限制数据量[^2] 2. 使用`SORT BY`时合理设置Reducer数量： ```sql SET mapred.reduce.tasks=5; --根据集群规模调整 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值