【Hive】hive窗口函数/分析函数 over子句

最新推荐文章于 2024-08-04 14:17:30 发布
最新推荐文章于 2024-08-04 14:17:30 发布
阅读量1.2k 收藏 6
点赞数
分类专栏： Hadoop Hive 文章标签： hive over子句 hive开窗函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jiajane/article/details/103846984
版权
本文详细介绍了Hive中的over子句，包括其作用、开窗范围、window clause，以及row_number、rank和dense_rank等常用开窗函数的使用。通过案例解释了如何在Hive中利用over子句解决部门内排名问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

over子句介绍

over子句参考链接 https://blog.youkuaiyun.com/czr11616/article/details/101645693

1. 什么是over子句

我们可以形象的把over()子句理解成开窗子句，即打开一个窗口，窗口内包含多条记录，over()会给每一行开一个窗口。如下图，总共有5条记录，每一行代表一条记录，over()在每一条记录的基础上打开一个窗口，给r1记录打开w1窗口，窗口内只包含自己，给r2打开w2窗口，窗口内包含r1、r2，给r3打开w3窗口，窗口内包含r1、r2、r3，以此类推…
在这里插入图片描述
由上我们不难发现，在使用over()子句进行查询的时候， 不仅可以查询到每条记录的信息，还可以查询到这条记录对应窗口内的所有记录的聚合信息，所以我们通常结合聚合函数和over()子句一起使用。

那么over()是如何进行开窗的呢？即每条记录对应的窗口内应该包含哪些记录呢？这些都是在over()子句的括号内进行定义。

2. over子句的开窗范围

在这里插入图片描述

  • current row代表查询的当前行
  • 1 preceding代表前一行
  • 1 following代表后一行
  • unbounded preceding代表第一行
  • unbounded following代表最后一行。

（注意这里的第一行和最后一行并不是严格的第一行和最后一行，根据具体情况而定）

3. window clause

over()子句的开窗范围可以通过window 子句（window clause）在over()的括号中定义，window clause的规范如下：

(ROWS | RANGE) BETWEEN (UNBOUNDED | [num]) PRECEDING AND ([num] PRECEDING | CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN CURRENT ROW AND (CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN [num] FOLLOWING AND (UNBOUNDED | [num]) FOLLOWING

例如 ：

select *,sum(column_name) over( rows between unbounded preceding and unbounded following) from table_name

表示查询每一行的所有列值，同时给每一行打开一个从第一行到最后一行的窗口，并统计窗口内所有记录的column_name列值的和。最后给每一行输出该行的所有属性以及该行对应窗口内记录的聚合值。

4. over子句默认值

如果over()子句中什么都不写的话，默认开窗范围是：rows between unbounded preceding and unbounded following

4.1 order by

如果over()子句中接
最低0.47元/天 解锁文章
HIVE over() 超全讲解
csdn问鼎
06-16 2万+
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 id name num 1 a 1 2 b 3 3 a 5 4 c 9 5 b 3 over() 此时每一行的窗口都是所有的行 SELECT id,name,num, sum(num) ov...
(07)Hive——窗口函数详解
爱吃辣条的博客
02-11 4316
Hive窗口函数详解
hive窗口函数over()
TU_JCN的博客
07-23 3105
over()，指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。
Hive中的开窗操作over()
小卧底的博客
03-31 1073
前提 over() 可以为 聚合函数或者窗口函数进行开窗操作； 开窗之后，每一行的数据都会对应一个数据窗口，这个数据窗口中的数据可能会随着行的变化而变化。 over(参数) 中可以指定的参数 partition by col：按照col进行分区（类似于分组），每个分区拥有自己独立的数据窗口 order by col：窗口中的数据按照col进行排序；当over与聚合函数一起使用时，如果指定了order by，那么数据窗口中的数据=上一次窗口中的数据+当前行 数据准备 name orderdate c
Hive中窗口函数 over()
weixin_44175698的博客
12-03 1138
over() 粗浅理解：一行对应一个窗口，至于这个窗口的范围是什么就要看over()函数里面对窗口范围的约束是什么了 over()函数中包括三个函数：包括分区partition by 列名、排序order by 列名、指定窗口范围rows between 开始位置 and 结束位置。 我们在使用over()窗口函数时，over()函数中的这三个函数可组合使用也可以不使用。 over() 默认的效果和order by类似，即第一行窗口大小为1，第二行窗口大小为2，以此类推，但是数据只不过没有什统计意义，所以一
Hive 窗口函数（开窗函数） over
热门推荐
不是一枚开发
09-16 7万+
文章目录OVER函数1.含义：2.示例： OVER函数 1.含义： 窗口函数主要解决 分析整体数据时，多个数据和一个结果对应，为每一条数据开启指定行范围的窗口； over() 指定 分析函数 工作时的数据窗口大小，这个窗口大小可能会随行的改变而改变； 用于between … and … 表示范围概念： CURRENT ROW：当前行 n PRECEDING：往前n行数据 n FOLLOWING：往后n行数据 UNBOUNDED：起点， UNBOUNDED PRECEDING 表示从前面的起点， UNBOUN
hive：窗口函数/开窗函数 OVER()（笔记）
不花的花和尚的博客
02-27 1313
6.7.4窗口函数（开窗函数） 1．相关函数说明 OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。 CURRENT ROW：当前行 nPRECEDING：往前n行数据 nFOLLOWING：往后n行数据 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDEDFOLLOWING表示到后面的终点...
Hive SQL ——窗口函数源码阅读
最新发布
爱吃辣条的博客
08-04 2012
Hive SQL ——窗口函数源码阅读
hive窗口分析函数使用详解系列二之分组排序窗口函数
鲁边的博客
04-13 904
我们讨论面试中各大厂的SQL算法面试题，往往核心考点就在于窗口函数，所以掌握好了窗口函数，面对SQL算法面试往往事半功倍。
hive 开窗函数over()
qq_28603127的博客
07-10 1569
开窗函数over()是将聚合函数以列的形式展开,替代之前需要join的处理 数据: CREATE TABLE `test`( `id` int, `class` string, `name` string, `score` int); insert into test values (1,'a','zhang',90), (2,'a','li',80), (3,'a','zhao',95), (4,'a','qian',85), (5,'a','sun',60), (6,'a',
hive over() row_name()的实践
u012247315的博客
09-13 389
1over后的写法 over（order by salary） 按照salary排序进行累计，order by是个默认的开窗函数 over（partition by deptno）按照部门分区 over（partition by deptno order by salary） 2开窗的窗口范围 over（order by salary range between 5 preceding and
Hive中over详解
m0_57320261的博客
10-24 1699
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 over() 此时每一行的窗口都是所有的行 SELECT id,name,num, sum(num) over() sum1 from aa over(order by id) id=1的窗口只有一行，id=2的窗口包括id=1,id=2 SELECT id,name,num, sum(num) over(orde...
Hive窗口函数总结
孙张宾博客
01-03 702
基础的：SUM,AVG,MIN,MAX NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值 ROW_NUMBER() –从1开始，按照顺序，生成分组内记录的序列 RANK() 生成数据项在分组中的排名，排名相等会在名次中留下空位 DENSE_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位 CUME_DIST 小于等于当前值的行数/分组内总行数 PE
Hive中over()函数详解
感谢你的关注~~~~ღ( ´･ᴗ･` )
02-02 859
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 id name num 1 a 1 2 b 3 3 a 5 4 c 9 5 b 3 over() 此时每一行的窗口都是所有的行 SELECT id,name,num, sum(num) over() sum1 from aa ov.
Hive——over（窗口函数）详解
d_l_w_d_l_w的博客
10-08 1924
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 over() 因为没设置窗口范围，此时每一行的窗口都是所有的行。 SELECT id, name, num, sum(num) over() sum1 from aa 也就是每一行后面的sum1是对所有行的num进行sum(num)操作，如果设置好窗口范围，每一行后面的结果是对以当前行为中心按照窗口范围内的行进行sum(
HIVE中的OVER函数解析
zhao_guo_feng的博客
07-10 964
over函数解析
hive窗口函数（over）详解
weixin_43866709的博客
08-01 4292
hive窗口函数： 一.函数说明： OVER():指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化 CURRENT ROW:当前行 n PRECEDING:往前n行数据 n FOLLOWING:往后n行数据 UNBOUNDED:起点，UNBOUNDED PRECEDING表示从前面的起点，UNBOUNDED FOLLOWING表示到后面的终点 LAG(col,n)往前第n行数...
hive over函数应用
有梦想谁都不起床
05-08 999
over： hive over函数
Hive窗口函数Over和排序函数Rank
liuwei0376的专栏
03-24 1424
Hive窗口函数Over和排序函数Rank划重点简介概念数据准备实例聚合函数+overpartition by子句order by子句window子句`★`窗口函数中的序列函数NTILE`★`row_number、rank、dense_rankLAG和LEAD函数first_value 和 last_value 划重点 1、聚合函数+over 2、partition by子句 3、order by...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值