Hive（15）中使用sum() over()实现累积求和和滑动求和

原创 已于 2025-03-15 15:31:19 修改 · 3.5k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #数据仓库

于 2024-01-29 18:13:06 首次发布
本文介绍了SQL中的row_number(),rank(),dense_rank()排序函数与over()窗口函数的使用，重点讲解了如何实现数据的累积求和和滑动求和，以员工销售业绩为例，展示了具体代码和结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实现累积求和和滑动求和

有任何不理解或者不懂的地方进行评论，博主看到第一时间进行解答！！！

目的：实现累积求和和滑动求和

三个常用的排序函数row_number(),rank()和dense_rank()。这三个函数需要配合开窗函数over()来实现排序功能。但over()的用法远不止于此，本文咱们来介绍如何实现累计求和和滑动求和。

样例：

一、数据介绍

三列数据，分别是员工的姓名、月份和销售额
在这里插入图片描述

功能：对每个员工的销售业绩的累积求和以及滑动求和（每个月计算其最近三个月的总销售业绩）

二、累积求和

1. 语法：

sum(需要求和的列) over(partition by 分组列 order by 排序列 asc/desc)

2. 代码：
select
	 *,
	 sum(cnt
最低0.47元/天 解锁文章

200万优质内容无限畅学
数仓工具—Hive语法之窗口函数窗口范围/边界 range between和rows between
11-08 8796
rows between 定义窗口的大小是根据当前行的位置来的，例如前面几行后面几行，是以当前行的位置为锚点进行计算，range between 定义窗口的大小是根据当前行的值来的，比这个值小n的行，比这个值大n的行，是以当前行的值为锚点进行计算举个例子方便理解假设当前行的位置是10，rows between 2 and 3 ,表示的是当前行的前面两行和后面三行，也就是第8行到第13行，总共6行。
hive 的开窗函数sum() over() 函数
weixin_43548518的博客
01-30 6680
窗口分析函数 sum() over() :可以实现在窗口中进行逐行累加 测试数据: 这个是网上比较经典的案例了 2: jdbc:hive2://hadoop-03:10000> select * from t_access_amount; +----------------------+------------------------+-------------------------+-...
Hive 开窗函数 —— over(partition by) 介绍
weixin_45417821的博客
08-01 1万+
开窗函数，分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化。 –排序，即便值一样，也不会出现重复排序， select row_number() over(order by name) as 排序, * from t2_temp –排序，值一样，就重复排序,例如1,1,3,4 select rank() over(order by name)
Hive中使用sum over()实现累积求和和滑动求和
xuehuagongzi000的博客
11-23 9423
1、数据介绍 咱们有三列数据，分别是员工的姓名、月份和销售额： 2、累积求和 select *, sum(cnt) over(partition by name order by month) as total_cnt from default.salerinfo 结果： 3、滑动求和 我们想要求每个月对应的最近三个月的业绩之和（包含本月在内），代码如下： sum(cnt) over(partition by name order by month range bet..
hive开窗函数 sum() over()
时间(实践)是检验真理的唯一标准
07-14 1181
求有多少个数 sum(1) count(*) select sum(1) from table; 求有多少个满足某个条件的个数 sum(if(2>1,0,1)) count( if(2>1,0,1))（此处的条件就是我们认为的事件） 求本组有多少个满足某个条件的个数 sum(if(2>1,0,1))over(partition by user_id) 求本组截止到当前行有多少个满足某个条件的个数 sum(if(2>1,0,1))over(p...
【Hive---22】实际案例之累计金额 『 sum() over()』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-18 411
1. 问题 2. 分析 3. 代码实现
数据库sum()over()函数
feiyuxc的博客
09-19 6823
累计求和 SQL 数据库 sum()over() hive mysql 窗口函数
Hive中使用over()实现累积求和和滑动求和
Vulpes corsac
06-08 4805
1.累积求和 实现累积求和，使用sum()函数配合over()来实现，具体的实现语法如下： sum(需要求和的列) over(partition by 分组列 order by 排序列 asc/desc)
Hive之聚合类开窗函数 + 滑动求和
wowulita123的博客
06-03 1929
Hive之聚合类开窗函数 + 滑动求和
hive实现类似滑动窗口效果
yunzibiduan的博客
03-16 1440
今天深入学习了一下range between 和rows between的区别以后，突然发现range between就可以完美的实现这个功能。百度了一下，没有发现好的实现方法，有一个是通过join来实现的，不是很优雅。自己通过开窗函数也出来一个，总感觉也不是很完美。之前，有个需求，有点类似spark的开窗函数实现的东西。有了上面的经验，我们可以对日期range，然后开窗滑动。月的和小时的可以使用类似的技术来实现。贴出来交流一下，供大家参考使用。例如，我们开个近7天的窗口。类似实现了滑动窗口的效果。
hive分析函数sum() over()的应用
程老师的博客
07-27 1768
问题： 求每个app下，一天内截止到当前时间点的累计访问量 分析： sum(pv) over(distribute by apptypeid sort by dateline asc) 根据app分组，时间点正序，得的就是截止到当前时间点的累加访问量，即累计访问量 案例： spark-sql> with test1 as > (select 100024 as apptypeid,'00:00' as dateline,10 as pv > union
sum() over
qq_20916553的博客
03-19 1105
select sum(case job when 'CLERK' then sal end) as cl, sum(case job when 'MANAGER' then sal end) as ma from emp; select sum(decode(job,'CLERK',sal)) as cl, sum(decode(job,'MANAGER',sal)) ...
sum() over() 函数用于累加计算
xy_best_的博客
10-20 1万+
本文主要讲的是计算一个指标时，需要按天累加，也就是累计指标计算，可以使用到该函数 1.可以按天进行累加 2.如果有相同的日期，可以先按天分组，然后进行累加，筛选项也是一样 数据源： 1、按照日期对应的V1（数字）进行升序（desc降序），然后进行累加 select V0, V1, sum(V1) over(order by V1 desc) from table 2、先根据V0进行分组，再按照v1进行升序，然后进行累加（可用做筛选项的累加） select V0, V1, sum(V1) ove
Hive窗口函数 row_number over()和sum() over()的使用详解
热门推荐
SOARING
05-27 2万+
row_number over()的使用： 假如我们有这样一组数据，我们需要求出不同性别的年龄top2的人的信息。这个时候怎么做？ 可能我们会首先想到分组，但是分组只能值top1，怎么样能求出top2，top3呢？这时候我们想如果分组后能够按照年龄排序然后标出来序号就好了！ id age name sex 1，18，xiaoli,male 2，19，wang,male 3，22，l...
SQL中累计求和与滑动求和函数sum() over()的用法
Roc的博客
03-28 2404
按照一定规则汇总c的值，具体规则为以a分组，每组内按照b进行排序，汇总第一行至当前行的c的加和值。sum()：对某个字段求和。over()：开窗，按照某种规则，将数据分组、分窗口计算。：对所有行进行求和。：按照order by对应字段的顺序，进行累计求和，即第一行到当前行，默认order by是升序排序（asc），也可以通过指定降序排序（desc）。
hive sum函数的顶级应用(配合开窗函数OVER)
www.hohode.com
05-21 3977
首先参考http://jingyan.baidu.com/article/8cdccae969e758315413cd1e.html (可能需要使用hdfs用户,运行hive命令) create table tmp.hive_sum(id string COMMENT '会员ID',bank_name string COMMENT '银行名称',create_time stri
sum over 分析函数用法
鱼归不知处
09-06 4434
sum over 分析函数用法 首先表如下：   A B C D 1 A                                1
spark 累加历史 + 统计全部 + 行转列
Lu_Xiao_Yue的博客
11-11 1683
转载自https://www.cnblogs.com/piaolingzxh/p/5538783.html 感觉写的特别好，特别有用 spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数 1 应用场景： 1、我们需要统计用户的总使用时长（累加历史） 2、前台展现页面需要对多个维度进行查询，如：产品、地区等等 3、需要展现的表格头如： 产品、2015-04、2015-...
hive sql—开窗函数—累积求和和滑动求和
SnailPace的博客
11-03 7391
hive sql—开窗函数—累积求和和滑动求和
hive窗口函数
最新发布
04-28
### Hive 窗口函数使用指南 Hive 窗口函数是一种强大的工具，允许在不丢失原始数据行的前提下进行复杂的分组和排序运算。它们与传统的 `GROUP BY` 不同，后者会将相同键值的多条记录聚合成单条记录，而窗口函数则保留输入数据的所有行数。 #### 1. 窗口函数基本概念 窗口函数的核心在于其能够基于一组数据（即“窗口”）执行计算，并为每一行返回相应的结果。这种能力使得它可以轻松处理诸如累计求和、排名等问题。 ##### 1.1 OVER 子句的作用 OVER 子句定义了窗口边界以及如何分区和排序数据。它的存在区分了普通的聚合函数和窗口函数的应用方式。 ```sql function_name(...) OVER ([partition_by_clause] [order_by_clause] [frame_clause]) ``` - **PARTITION BY**: 类似于 GROUP BY，但它不会减少行的数量；它只是指定了要独立应用函数的小范围或部分数据集。 - **ORDER BY**: 定义了应用于 PARTITION 内部元素的具体顺序。 - **FRAME CLAUSE**: 进一步细化哪些行应被纳入到当前行的计算当中去。（可选） #### 2. 常见类型的窗口函数 ##### 2.1 聚合类 这些函数类似于标准 SQL 中的标准聚集操作符，但是当它们出现在 WINDOW 函数上下文中时，会产生不同的效果——因为它们现在作用在一个滑动视图之上而不是整个表/子查询的结果集上。 - SUM(): 计算累积总和。 - AVG(), MIN(), MAX(): 分别给出平均值、最小值和最大值。 示例: 假设有一个交易日志表 `trade`[^4]: ```sql SELECT user_id, trade_date, trade_num, SUM(trade_num) OVER(PARTITION BY user_id ORDER BY trade_date ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS running_total FROM trade; ``` 这里我们按用户 ID 划分子集并对每个用户的每次购买都累加起来形成一个运行总计列[^5]. ##### 2.2 排名类 此类别的成员帮助确定某一行在其所属群体内的相对位置。 - RANK() - DENSE_RANK() - ROW_NUMBER() 举例来说如果想找出每个月销售额最高的几位员工可以用下面这段代码片段来实现: ```sql SELECT employee_id,sale_amount,SUM(sale_amount) as monthly_sales,RANK() OVER (PARTITION BY month_key ORDER BY sale_amount DESC ) rank FROM sales GROUP BY employee_id ,month_key ORDER BY month_key ASC ; ``` ##### 2.3 其他类别 除了上述两类之外还有一些特殊的用途比如LAG / LEAD用来访问相邻行的数据等等. #### 总结 通过合理运用Hive提供的各种窗口函数我们可以极大地简化复杂查询过程同时提升数据分析效率.[^2] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个天蝎座白勺程序猿

你的鼓励将是我创作的最大动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值