Hive（15）中使用sum() over()实现累积求和和滑动求和

原创 已于 2025-03-15 15:31:19 修改 · 3.5k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #数据仓库

于 2024-01-29 18:13:06 首次发布
本文介绍了SQL中的row_number(),rank(),dense_rank()排序函数与over()窗口函数的使用，重点讲解了如何实现数据的累积求和和滑动求和，以员工销售业绩为例，展示了具体代码和结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实现累积求和和滑动求和

有任何不理解或者不懂的地方进行评论，博主看到第一时间进行解答！！！

目的：实现累积求和和滑动求和

三个常用的排序函数row_number(),rank()和dense_rank()。这三个函数需要配合开窗函数over()来实现排序功能。但over()的用法远不止于此，本文咱们来介绍如何实现累计求和和滑动求和。

样例：

一、数据介绍

三列数据，分别是员工的姓名、月份和销售额
在这里插入图片描述

功能：对每个员工的销售业绩的累积求和以及滑动求和（每个月计算其最近三个月的总销售业绩）

二、累积求和

1. 语法：

sum(需要求和的列) over(partition by 分组列 order by 排序列 asc/desc)

2. 代码：
select
	 *,
	 sum(cnt
最低0.47元/天 解锁文章

200万优质内容无限畅学
数仓工具—Hive语法之窗口函数窗口范围/边界 range between和rows between
11-08 8822
rows between 定义窗口的大小是根据当前行的位置来的，例如前面几行后面几行，是以当前行的位置为锚点进行计算，range between 定义窗口的大小是根据当前行的值来的，比这个值小n的行，比这个值大n的行，是以当前行的值为锚点进行计算举个例子方便理解假设当前行的位置是10，rows between 2 and 3 ,表示的是当前行的前面两行和后面三行，也就是第8行到第13行，总共6行。
Hive sum over partition preceding following 累计求和
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-14 3201
有重复，不符合预期 按月份累计时partition by不能再出现month字段！符合预期 符合预期 把month加上后，是精确到month粒度了，就看不出累加的效果了： partition by与group by的不同点：1 over(partition by)时select中可以出现多个字段（比如相关的维度字段或不相关的其他字段）；但是如果是写[group by 维度字段]时，前面select中需要出现相同的维度字段才行（不然报错），比partition by多了一个限制！2 par
hive 的开窗函数sum() over() 函数
weixin_43548518的博客
01-30 6685
窗口分析函数 sum() over() :可以实现在窗口中进行逐行累加 测试数据: 这个是网上比较经典的案例了 2: jdbc:hive2://hadoop-03:10000> select * from t_access_amount; +----------------------+------------------------+-------------------------+-...
SQL中累计求和与滑动求和函数sum() over()的用法
最新发布
Roc的博客
03-28 2519
按照一定规则汇总c的值，具体规则为以a分组，每组内按照b进行排序，汇总第一行至当前行的c的加和值。sum()：对某个字段求和。over()：开窗，按照某种规则，将数据分组、分窗口计算。：对所有行进行求和。：按照order by对应字段的顺序，进行累计求和，即第一行到当前行，默认order by是升序排序（asc），也可以通过指定降序排序（desc）。
Hive中使用over()实现累积求和和滑动求和
Vulpes corsac
06-08 4820
1.累积求和 实现累积求和，使用sum()函数配合over()来实现，具体的实现语法如下： sum(需要求和的列) over(partition by 分组列 order by 排序列 asc/desc)
hive中关于SUM(COUNT(1))的用法实践测试用例
qq_36344346的博客
10-26 2744
SELECT * FROM temp.tmp_20181026 T; +------------+-----------+-----------+----------+--+ | t.classes | t.name | t.course | t.score | +------------+-----------+-----------+----------+--+ | a1 ...
sql sum条件求和_Hive中使用over()实现累积求和和滑动求和
weixin_39634132的博客
12-06 4412
上一篇咱们介绍了三个常用的排序函数row_number(),rank()和dense_rank()。这三个函数需要配合开窗函数over()来实现排序功能。但over()的用法远不止于此，本文咱们来介绍如何实现累计求和和滑动求和。1、数据介绍咱们有三列数据，分别是员工的姓名、月份和销售额：接下来，咱们实现两个主要的功能，对每个员工的销售业绩的累积求和以及滑动求和(每个月计算其最近三个月的总...
Hive之聚合类开窗函数 + 滑动求和
wowulita123的博客
06-03 1942
Hive之聚合类开窗函数 + 滑动求和
hive实现类似滑动窗口效果
yunzibiduan的博客
03-16 1446
今天深入学习了一下range between 和rows between的区别以后，突然发现range between就可以完美的实现这个功能。百度了一下，没有发现好的实现方法，有一个是通过join来实现的，不是很优雅。自己通过开窗函数也出来一个，总感觉也不是很完美。之前，有个需求，有点类似spark的开窗函数实现的东西。有了上面的经验，我们可以对日期range，然后开窗滑动。月的和小时的可以使用类似的技术来实现。贴出来交流一下，供大家参考使用。例如，我们开个近7天的窗口。类似实现了滑动窗口的效果。
大数据学习24：hive_sql_累计求和小案例
ggwxk1990的博客
10-23 7030
环境： hive需求： 输入数据，每天用户的流量 分隔符 \t user date access panda 2017-1-01 5t gifshow 2017-1-01 3t yy 2017-1-01 2t laifeng 2017-1-01 2t panda 2017-1-02 5t gifshow 2017-1-02 3t yy 2017-1
Hive中使用sum over()实现累积求和和滑动求和
xuehuagongzi000的博客
11-23 9469
1、数据介绍 咱们有三列数据，分别是员工的姓名、月份和销售额： 2、累积求和 select *, sum(cnt) over(partition by name order by month) as total_cnt from default.salerinfo 结果： 3、滑动求和 我们想要求每个月对应的最近三个月的业绩之和（包含本月在内），代码如下： sum(cnt) over(partition by name order by month range bet..
hive开窗函数 sum() over()
时间(实践)是检验真理的唯一标准
07-14 1188
求有多少个数 sum(1) count(*) select sum(1) from table; 求有多少个满足某个条件的个数 sum(if(2>1,0,1)) count( if(2>1,0,1))（此处的条件就是我们认为的事件） 求本组有多少个满足某个条件的个数 sum(if(2>1,0,1))over(partition by user_id) 求本组截止到当前行有多少个满足某个条件的个数 sum(if(2>1,0,1))over(p...
【Hive---22】实际案例之累计金额 『 sum() over()』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-18 414
1. 问题 2. 分析 3. 代码实现
hive分析函数sum() over()的应用
程老师的博客
07-27 1771
问题： 求每个app下，一天内截止到当前时间点的累计访问量 分析： sum(pv) over(distribute by apptypeid sort by dateline asc) 根据app分组，时间点正序，得的就是截止到当前时间点的累加访问量，即累计访问量 案例： spark-sql> with test1 as > (select 100024 as apptypeid,'00:00' as dateline,10 as pv > union
Hive窗口函数 row_number over()和sum() over()的使用详解
热门推荐
SOARING
05-27 2万+
row_number over()的使用： 假如我们有这样一组数据，我们需要求出不同性别的年龄top2的人的信息。这个时候怎么做？ 可能我们会首先想到分组，但是分组只能值top1，怎么样能求出top2，top3呢？这时候我们想如果分组后能够按照年龄排序然后标出来序号就好了！ id age name sex 1，18，xiaoli,male 2，19，wang,male 3，22，l...
数据库sum()over()函数
feiyuxc的博客
09-19 6908
累计求和 SQL 数据库 sum()over() hive mysql 窗口函数
sum() over() 函数用于累加计算
xy_best_的博客
10-20 1万+
本文主要讲的是计算一个指标时，需要按天累加，也就是累计指标计算，可以使用到该函数 1.可以按天进行累加 2.如果有相同的日期，可以先按天分组，然后进行累加，筛选项也是一样 数据源： 1、按照日期对应的V1（数字）进行升序（desc降序），然后进行累加 select V0, V1, sum(V1) over(order by V1 desc) from table 2、先根据V0进行分组，再按照v1进行升序，然后进行累加（可用做筛选项的累加） select V0, V1, sum(V1) ove
hive sum函数的顶级应用(配合开窗函数OVER)
www.hohode.com
05-21 3979
首先参考http://jingyan.baidu.com/article/8cdccae969e758315413cd1e.html (可能需要使用hdfs用户,运行hive命令) create table tmp.hive_sum(id string COMMENT '会员ID',bank_name string COMMENT '银行名称',create_time stri
sum over 分析函数用法
鱼归不知处
09-06 4438
sum over 分析函数用法 首先表如下：   A B C D 1 A                                1
hive SUM OVER (ORDER BY
01-18
### Hive SQL 中 SUM 窗口函数与 ORDER BY 子句 在Hive SQL中，`SUM()`窗口函数可以用于计算累积总和或其他形式的滚动汇总。当结合`ORDER BY`子句使用时，可以在特定顺序下对数据进行累加求和。 #### 使用 `SUM()` 窗口函数配合 `ORDER BY` 为了展示如何利用`SUM()`作为窗口函数并指定排序依据，在下面的例子中假设有一个名为`t_sales`的数据表，其中包含销售记录以及相应的日期字段： ```sql SELECT sale_date, amount, SUM(amount) OVER (ORDER BY sale_date ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS running_total FROM t_sales; ``` 此查询语句通过按时间先后排列来追踪每日销售额随时间变化而形成的累计总额[^1]。 上述SQL片段实现了基于日期升序排列下的金额累积相加功能；即对于每一天都会给出截至当天为止所有的销售收入之和。 #### 处理更复杂的情况 如果希望进一步细化分析范围，则可以通过定义分区(partitioning)，使得每次只针对不同类别分别做独立统计: ```sql SELECT category, -- 商品分类 sale_date, -- 销售发生的时间点 amount, -- 单笔交易额 SUM(amount) OVER ( PARTITION BY category -- 对每一类商品单独处理 ORDER BY sale_date -- 时间序列上的排序逻辑 ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW -- 明确窗口边界条件 ) AS cat_running_total -- 类目内截止当前时刻的流水账面余额 FROM t_sales; ``` 这段代码不仅能够提供跨整个表格维度上连续增长的趋势图景，还允许观察者深入探究各个细分子集内部的发展态势[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个天蝎座白勺程序猿

你的鼓励将是我创作的最大动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值