hive limit分页查询、row_number()分页查询

最新推荐文章于 2024-08-02 02:04:28 发布

原创最新推荐文章于 2024-08-02 02:04:28 发布

· 6.2w 阅读

22 ·

版权

文章标签：

#hive

hive 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了在不同版本的Hive中如何进行分页查询。对于支持`LIMIT m-1, n`语法的Hive，可以直接使用此语句获取指定范围的数据。而在不支持该语法的版本中，可以通过`row_number()`窗口函数实现分页。通过创建临时表并结合`row_number()`进行筛选，可以有效地获取第m到m+n行的数据，注意使用窗口函数时为了性能考虑应将其写入临时表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言

前言

hive执行limit语句报错，分页失败
在这里插入图片描述

1. 支持limit m-1, n语法的hive版本

SELECT * FROM 表名 LIMIT n;     	//检索前 n 个记录行
SELECT * FROM 表名 LIMIT m-1, n; 	//检索 m行 到 m+n行

如:
在这里插入图片描述

2. 不支持limit m-1, n语法，使用row_number()函数

2.1 row_number()的使用

（1）按照deptno分组，不排序

select *, row_number()over(partition by deptno) from emp;

在这里插入图片描述

（2）按照empno进行排序，不分组,排序列命名rownum

select * ,row_number() over (order by empno) as rownum  from emp;

在这里插入图片描述

（3）按照empno排序，同时根据deptno进行分组

select * ,row_number() over (partition by deptno order by empno) as rownum  from emp;

在这里插入图片描述

2.2 分页

从原表中查询第6到第10行数据

select * from (select * ,row_number() over () as rownum  from emp) t where t.rownum between 6 and 10;

在这里插入图片描述

注：

row_number最好写一个临时表,不然每次都排序很耗性能