Hive开窗函数over()的使用（附案例）

原创

已于 2022-02-21 17:22:14 修改 · 722 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive #数据仓库 #大数据 #big data #mysql

于 2022-02-17 12:24:28 首次发布

本文详细介绍了Hive的开窗函数over()的使用，包括在数据仓库操作中的实际案例，如结合sum函数，设定窗口行区间，获取组内TOPN，以及利用Lag、Lead、first_val和last_val等分析函数进行数据处理。

Hive开窗函数案例：

准备工作：

-- 准备数据
---建表并且加载数据
create database db_2;

use db_2;

create table website_pv_info(
cookieid string,
createtime string, --day
pv int
)
row format delimited fields terminated by ',';

create table website_url_info (
cookieid string,
createtime string, --访问时间
url string --访问页面
)
row format delimited fields terminated by ',';

load data local inpath '/root/website_pv_info.txt'
into table website_pv_info;
load data local inpath '/root/website_url_info.txt'
into table website_url_info;

开窗结合sum函数使用：

--sum(...) over( )对表所有行求和
select
    cookieid, createtime, pv,
    sum(pv) over() -- 61
from website_pv_info
;

--sum(...) over( order by ... ) 连续累积求和
select
    cookieid, createtime, pv,
    sum(pv) over(order by cookieid, createtime)
from website_pv_info
;

--sum(...) over( partition by... ) 同组内所有行求和
select
    cookieid, createtime, pv,
    sum(pv) ov