【大数据Hive】Hive 窗口函数使用详解

目录

一、前言

二、hive 窗口函数概述

2.1 聚合函数与窗口函数差别

2.1.1 创建一张表

2.1.2 加载数据到表中

2.1.3 sum+group by普通常规聚合操作

2.1.4 sum+窗口函数聚合操作

三、窗口函数

3.1 窗口函数语法

3.2  参数说明

3.2.1 Function(arg1,..., argn)

3.2.2 OVER [PARTITION BY <...>]

3.2.3 [ORDER BY <....>]

3.2.4 []

3.3  窗口函数使用操作演示

3.3.1 数据准备

3.3.2 窗口聚合函数的使用

3.3.3 sum+窗口函数

3.3.4 求出每个用户总pv数

3.3.5 求出每个用户截止到当天，累积的总pv数

3.4  窗口表达式

3.5 窗口表达式案例演示

3.5.1 默认从第一行到当前行

3.5.2 第一行到当前行

3.5.3 向前3行至当前行

3.6  窗口排序函数

3.6.1 找出每个用户访问pv最多的Top3

3.7  窗口排序函数-ntile

3.7.1 ntile 概述

3.7.2 统计每个用户pv数最多的前3分之1天

3.8  窗口分析函数

3.8.1 LAG(col,n,DEFAULT)

3.8.2 LEAD(col,n,DEFAULT)

3.8.3 FIRST_VALUE

3.8.4 LAST_VALUE

3.8.5 案例操作演示

四、抽样函数

4.1 抽样函数概述

4.2 Random 随机抽样

4.3 案例操作演示

4.3.1 数据准备

4.3.2 随机抽取2个学生的情况进行查看

4.4 Block 基于数据块抽样

4.4.1 案例操作演示

4.5 Bucket table 基于分桶表抽样

参数说明

4.6 案例操作演示

4.6.1 根据整行数据进行抽样

4.6.2 根据分桶字段进行抽样 ，效率更高

五、写在文末

---

一、前言

在讲Flink的时候，我们聊到了窗口函数的使用，了解了窗口函数的作用，本篇来详细聊聊hive中窗口函数的使用。

二、hive 窗口函数概述

窗口函数（Window functions）也叫做开窗函数、OLAP函数，其最大特点是：输入值是从SELECT语句的结果集中的一行或多行的“窗口”中获取的。如果函数具有OVER子句，则它是窗口函数。

窗口函数可以简单地解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，最终输出一行，窗口函数聚合后还可以访问当中的各个行，并且可以将这些行中的某些属性添加到结果集中。

结合下图，可以对比理解下普通聚合函数与窗口函数的作用；

我们不妨通过两个sql来直观感受下普通聚合函数与窗口函数的差异所在；