Hive分析窗口函数深入(一) SUM,AVG,MIN,MAX

最新推荐文章于 2023-12-29 16:07:51 发布

原创

最新推荐文章于 2023-12-29 16:07:51 发布 · 395 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive 窗口函数 #hive #大数据

问题导读：
1、Hive分析窗口函数SUM如何实现？
2、Hive分析窗口函数AVG脚本如何编写？
3、Hive分析窗口函数MIN、MAX脚本如何实现？

Hive中提供了越来越多的分析函数，用于完成负责的统计分析。抽时间将所有的分析窗口函数理一遍，将陆续发布。
今天先看几个基础的，SUM、AVG、MIN、MAX。
用于实现分组内所有和连续累积的统计。

Hive版本为 apache-hive-0.13.1数据准备

CREATE EXTERNAL TABLE zcg1234 (
cookieid string,
createtime string, --day
pv INT
) ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
stored as textfile location '/tmp/zcg1234/';

desc zcg1234;

cookieid STRING
createtime STRING
pv INT

hive> select * from zcg1234;
OK
cookie1 2019-04-10 1
cookie1 2019-04-11 5
cookie1 2019-04-12 7
cookie1 2019-04-13 3
cookie1 2019-04-14 2
cookie1 2019-04-15 4
cookie1 2019-04-16 4

SUM — 注意,结果和ORDER BY相关,默认为升序

SELECT cookieid,
createtime,
pv,
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默认为从起点到当前行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --从起点到当前行，结果同pv1
SUM(pv) OVER(PARTITION BY cookieid) AS pv3,