2021年大数据Hive(七):Hive的开窗函数

Hive系列 (三):开窗函数详解 开窗函数详细介绍,包括聚合开窗函数和排序开窗函数,sum,min,max,avg,first_value,last_value,lag,lead,cume_dist,row_number,rank,dense_rank,percent_rank,ntile等函数 阅读详情

全网最详细的Hive文章系列,强烈建议收藏加关注!

后面更新文章都会列出历史文章目录,帮助大家回顾知识重点。

目录

系列历史文章

前言

Hive的开窗函数

一、窗口函数 ROW_NUMBER,RANK,DENSE_RANK

1、数据准备

2、ROW_NUMBER

3、RANK 和 DENSE_RANK

二、Hive分析窗口函数 SUM,AVG,MIN,MAX

1、数据准备

2、SUM(结果和ORDER BY相关,默认为升序)

3、AVG,MIN,MAX


系列历史文章

2021年大数据Hive(十二):Hive综合案例!!!

2021年大数据Hive(十一):Hive调优

2021年大数据Hive(十):Hive的数据存储格式

2021年大数据Hive(九):Hive的数据压缩

2021年大数据Hive(八):Hive自定义函数

2021年大数据Hive(七):Hive的开窗函数

2021年大数据Hive(六):Hive的表生成函数

2021年大数据Hive(五):Hive的内置函数(数学、字符串、日期、条件、转换、行转列)

2021年大数据Hive(四):Hive查询语法

2021年大数据Hive(三):手把手教你如何吃透Hive数据库和表操作(学会秒变数仓大佬)

2021年大数据Hive(二):Hive的三种安装模式和MySQL搭配使用

2021年大数据Hive(一):Hive基本概念

前言

 2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习。

有对大数据感兴趣的可以关注微信公众号:三帮大数据

Hive的开窗函数

一、窗口函数 ROW_NUMBER,RANK,DENSE_RANK

​​​​​​​1、数据准备


   
  1. cookie1,2021-06-10,1
  2. cookie1,2021-06-11,5
  3. cookie1,2021-06-12,7
  4. cookie1,2021-06-13,3
  5. cookie1,2021-06-14,2
  6. cookie1,2021-06-15,4
  7. cookie1,2021-06-16,4
  8. cookie2,2021-06-10,2
  9. cookie2,2021-06-11,3
  10. cookie2,2021-06-12,5
  11. cookie2,2021-06-13,6
  12. cookie2,2021-06-14,3
  13. cookie2,2021-06-15,9
  14. cookie2,2021-06-16,7
  15. CREATE  TABLE it_t1 (
  16. cookieid string,
  17. createtime string,    --day
  18. pv INT
  19. )  ROW  FORMAT  DELIMITED FIELDS TERMINATED BY  ',';
  20.   
  21. -- 加载数据:
  22. load data  local inpath '/export/data/hivedatas/it_t2.txt'  into  table it_t1;

​​​​​​​2、ROW_NUMBER

ROW_NUMBER()  从1开始,按照顺序,生成分组内记录的序列


   
  1. SELECT 
  2.   cookieid,
  3.   createtime,
  4.   pv,
  5.   ROW_NUMBER()  OVER( PARTITION  BY cookieid ORDER  BY pv desc)  AS rn
  6.    FROM it_t1;

​​​​​​​3、RANK 和 DENSE_RANK

RANK() 生成数据项在分组中的排名,排名相等会在名次中留下空位

DENSE_RANK() 生成数据项在分组中的排名,排名相等会在名次中不会留下空位


   
  1. SELECT 
  2. cookieid,
  3. createtime,
  4. pv,
  5. RANK()  OVER( PARTITION  BY cookieid ORDER  BY pv desc)  AS rn1,
  6. DENSE_RANK()  OVER( PARTITION  BY cookieid ORDER  BY pv desc)  AS rn2,
  7. ROW_NUMBER()  OVER( PARTITION  BY cookieid ORDER  BY pv DESC)  AS rn3
  8. FROM it_t1
  9. WHERE cookieid =  'cookie1';

​​​​​​​二、Hive分析窗口函数 SUM,AVG,MIN,MAX

​​​​​​​1、数据准备


   
  1. --建表语句:
  2. create  table it_t2(
  3. cookieid string,
  4. createtime string,    --day
  5. pv int
  6. )  row  format  delimited
  7. fields terminated by  ',';
  8. --加载数据:
  9. load data  local inpath '/root/hivedata/ it_t2.txt'  into  table it_t2;
  10. --开启智能本地模式
  11. SET hive.exec.mode.local.auto= true;

​​​​​​​2、SUM(结果和ORDER BY相关,默认为升序)


   
  1. select cookieid,createtime,pv,
  2. sum(pv)  over( partition  by cookieid order  by createtime)  as pv1
  3. from it_t2;
  4. select cookieid,createtime,pv,
  5. sum(pv)  over( partition  by cookieid order  by createtime rows  between  unbounded preceding and  current  row)  as pv2
  6. from it_t2;
  7. select cookieid,createtime,pv,
  8. sum(pv)  over( partition  by cookieid)  as pv3
  9. from it_t2;   --如果没有order  by排序语句  默认把分组内的所有数据进行sum操作
  10. select cookieid,createtime,pv,
  11. sum(pv)  over( partition  by cookieid order  by createtime rows  between  3  preceding and  current  row)  as pv4
  12. from it_t2;
  13. select cookieid,createtime,pv,
  14. sum(pv)  over( partition  by cookieid order  by createtime rows  between  3  preceding and  1  following)  as pv5
  15. from it_t2;
  16. select cookieid,createtime,pv,
  17. sum(pv)  over( partition  by cookieid order  by createtime rows  between  current  row  and  unbounded following)  as pv6
  18. from it_t2;
  19. --pv1: 分组内从起点到当前行的pv累积,如,11号的pv1=10号的pv+11号的pv, 12号=10号+11号+12号
  20. --pv2: 同pv1
  21. --pv3: 分组内(cookie1)所有的pv累加
  22. --pv4: 分组内当前行+往前3行,如,11号=10号+11号, 12号=10号+11号+12号,
  23.                        13号=10号+11号+12号+13号, 14号=11号+12号+13号+14号
  24. --pv5: 分组内当前行+往前3行+往后1行,如,14号=11号+12号+13号+14号+15号=5+7+3+2+4=21
  25. --pv6: 分组内当前行+往后所有行,如,13号=13号+14号+15号+16号=3+2+4+4=13,
  26.  14号=14号+15号+16号=2+4+4=10
  27. /*
  28. - 如果不指定rows between,默认为从起点到当前行;
  29. - 如果不指定order by,则将分组内所有值累加;
  30. - 关键是理解rows between含义,也叫做window子句:
  31.   - preceding:往前
  32.   - following:往后
  33.   - current row:当前行
  34.   - unbounded:起点
  35.   - unbounded preceding 表示从前面的起点
  36.   - unbounded following:表示到后面的终点
  37.  */ 

​​​​​​​3、AVG,MIN,MAX

AVG,MIN,MAX和SUM用法一样


   
  1. select cookieid,createtime,pv,
  2. avg(pv)  over( partition  by cookieid order  by createtime rows  between  unbounded preceding and  current  row)  as pv2
  3. from it_t2;
  4. select cookieid,createtime,pv,
  5. max(pv)  over( partition  by cookieid order  by createtime rows  between  unbounded preceding and  current  row)  as pv2
  6. from it_t2;
  7. select cookieid,createtime,pv,
  8. min(pv)  over( partition  by cookieid order  by createtime rows  between  unbounded preceding and  current  row)  as pv2
  9. from it_t2;

  • 📢博客主页:https://lansonli.blog.youkuaiyun.com
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 优快云博客🙉
  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
大数据-Hive开窗函数 Hive开窗函数结构: xx() over(partition by xx order by xx) Hive开窗函数,大致有以下两类: 1. 排序开窗函数 row_number():组内排名后获取行号 rank():组内排名(连续) dense_rank():组内排名(跳跃) first_value() last_value() lag(col, n, default):用于统计窗口内往上取第n个值 lead(col, n, default):用于统计窗口内往下取第n个值 cume_dist(col):计 阅读详情

相关推荐

Hive之聚合类开窗函数 + 滑动求和

Hive之聚合类开窗函数 + 滑动求和

wowulita123的博客 2066

大数据之Hive:Hive 开窗函数(一)

目录1.什么是开窗函数?2.聚合开窗函数2.1 count开窗函数2.2 sum开窗函数2.3 avg开窗函数2.4 min开窗函数2.5 max开窗函数2.6 first_value开窗函数 1.什么是开窗函数? 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值,而开窗函数则可为窗口中的每行都返回一个值。简单理解,就是对查询的结果多出一列,这一列可以是聚合值,也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。 2.聚合开窗函

weixin_43597208的博客 2672

HIVE开窗函数

ETL,SQL面试高频考点——HIVE开窗函数 目录标题ETL,SQL面试高频考点——HIVE开窗函数一,窗口函数介绍二,开窗函数三,开窗函数分类排序开窗函数:实列解析:后续更新中~ 一,窗口函数介绍 窗口函数,也叫OLAP函数(Online Anallytical Processing,联机分析处理),可以对数据库数据进行实时分析处理。 二,开窗函数 开创函数就是定义一个行为列,简单讲,就是你查询的结果上,多出一列值(可以是聚合值或者排序号,所以开窗函数可以分为两类:聚合开窗函数和排序开窗函数,特征就是

weixin_46602525的博客 2154

【大数据之Hive】十六、Hive-HQL函数之窗口函数(开窗函数)

  先定义了窗口的大小(按行来算),然后对窗口内的行的数据进行计算,再将计算结果返回给改行。   窗口函数包括窗口和函数两部分,窗口用于定义计算范围,函数用于定义计算逻辑,窗口函数只会在原来的表上增加一列结果列,不改变原来的数据。 函数:   绝大多数聚合函数都可以配合窗口使用,如max(),min(),sum(),count(),avg()等。窗口:   分为两种,一种是基于行的,一种是基于值的。   基于行的:如每行数据的窗口为上一行到当前行:对于第1行来说,处于窗口内的行为第0行和第1行;对于第2行

阿宁的博客 3188

Hive 开窗函数详解

1.Hive 数据存储 Hive支持的存储数的格式主要有:TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的;ORC和PARQUET是基于列式存储的。 1.1 列式存储和行式存储基本介绍 • 行存储的特点:查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行...

程序员学习圈 1992

大数据Hive(七):Hive的开窗函数

全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点。 目录 系列历史文章 前言 Hive的开窗函数 一、窗口函数 ROW_NUMBER,RANK,DENSE_RANK 1、数据准备 ​​​​​​​2、ROW_NUMBER ​​​​​​​3、RANK 和 DENSE_RANK ​​​​​​​二、Hive分析窗口函数 SUM,AVG,MIN,MAX ​​​​​​​1、数据准备 ​​​​​​​2、SUM(结果和ORDER BY相关.

Lansonli(蓝深李)的博客 1万+

Hive常用函数总结二——开窗函数

窗口函数又叫OLAP函数/分析函数,窗口函数兼具分组和排序功能。 窗口函数最重要的关键字是partition by和order by 具体语法如下:XXX over (partition by xxx order by xxx) over()里面的 partition by 和 order by 都不是必选的,over()里面可以只有partition by,也可以只有order by,也可以两个都没有,需根据需求灵活运用。 1.sum、avg、min、max 创建表 create ...

不才伟才的博客 2057

保姆级教程:在RK3588开发板上驱动多路MIPI摄像头(从VICAP配置到ISP调优)

本文详细介绍了在RK3588开发板上驱动多路MIPI摄像头的完整流程,从VICAP配置到ISP调优的全方位解析。通过硬件架构分析、开发环境搭建、设备树配置、V4L2数据采集以及ISP图像调优等步骤,帮助开发者高效实现多路摄像头驱动,适用于工业检测和智能安防等领域。

weixin_42552315的博客 390

Hive 的开窗函数有哪些?

开窗函数是一类特殊的 SQL 函数,它能够在查询结果的某个窗口内进行计算。与传统的聚合函数不同,开窗函数不会将结果集缩减到单一的行,而是保留所有行,同时在每一行上进行计算。开窗函数通常用于分析、排名及计算移动平均等场景。:开窗函数的名称。argument:函数的参数。:定义窗口的分区。ORDER BY:定义窗口内的排序。Hive 的开窗函数为数据分析提供了强大的功能,使得用户能够在不聚合数据的情况下对数据进行细致的分析。通过使用各种开窗函数(如RANK()SUM()LEAD()和LAG()

My_wife_QBL的博客 1500

饥荒联机版Mod开发——modmain环境与API深度解析

本文深入解析饥荒联机版Mod开发中的modmain.lua环境与核心API,详细讲解环境表构建原理、API注册与调用时机,并提供高级开发技巧与最佳实践。通过源码分析和实际案例,帮助开发者掌握Mod开发核心技术,解决常见问题,提升开发效率与代码质量。

weixin_30312563的博客 437

Win10系统下海思SS928开发板烧写工具ToolPlatform-1.0.11安装避坑指南

本文详细介绍了在Windows 10系统下安装和配置海思SS928开发板烧写工具ToolPlatform-1.0.11的完整流程与避坑指南。核心解决了JVM内存配置导致的界面卡顿、闪退问题,并提供了驱动安装、硬件连接、镜像烧写的实战步骤,帮助嵌入式开发新手快速搭建稳定的烧写环境。

kite3的博客 455

hive的开窗函数篇

hive的开窗函数over()

qq_40202995的博客 1万+

手把手教你用QEMU虚拟化华为路由器固件(附完整网络配置指南)

本文提供了一份详尽的QEMU虚拟化华为路由器固件的实战指南。从固件解包、网络桥接配置到QEMU虚拟机启动,手把手教你搭建完整的嵌入式设备沙箱环境,特别适合安全研究、逆向分析和学习嵌入式系统工作原理。

tgb3456789的博客 943

Hive 开窗函数

工作中用到了几个hive开窗函数,便想把hive开窗函数系统梳理一遍。 开窗函数 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值,而开窗函数则可为窗口中的每行都返回一个值。简单理解,就是对查询的结果多出一列,这一列可以是聚合值,也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。 测试数据 --...

王佩的优快云博客 6万+

别再无脑调打码平台了!聊聊 ddddocr 在爬虫验证码识别中的真实边界

ddddocr是国产开源社区的优秀成果,它大幅降低了验证码识别的入门门槛。工具的自由不等于工程的自由。真正的能力不在于“会不会调库”,而在于能否准确判断工具的适用边界、构建鲁棒的容错机制、并在成本与效果之间做出理性权衡。下次当你准备在爬虫中加入验证码识别时,不妨先问自己:这个站点的验证码类型是否在ddddocr的能力圈内?我的预处理是否针对该站点做过专项调试?我的失败重试和监控机制是否完备?如果三个问题都能肯定回答,那么ddddocr就是你的利器;如果有任何一个犹豫,请先补齐短板再上路。评论区交流:你用。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1285

threadX的USBX的初始化和解初始化的分析。

tx_application_define的最后会使用tx_byte_pool_create创建usb线程的内存空间“ux_device_app_byte_pool”,再创建usb线程,也就是执行。主要就是创建了线程,也就是第3个参数app_ux_device_thread_entry,这个参数内是MX_USB_Device_Init,也就是USB底层初始化。进来的参数只有1个,是memory_ptr,这个就是创建的usb线程空间“ux_device_app_byte_pool”

qq_31885403的博客 648

HIVE函数汇总--开窗函数篇

详细介绍开窗函数的思路及其用法

小猿天地 1万+

Transformer从菜鸟到新手(一)

从本文开始回顾一下Transformer的原理与实现细节,包括分词算法BPE的实现。最终利用从零实现的Transformer模型进行英中翻译。

日积月累,天道酬勤 2127

HIVE--hive的窗口函数(开窗函数,分析函数)

本文详细介绍了hive窗口函数,即包括开窗函数和分析函数两部分。

数据科学 爱好分享 快乐就完了 1万+

【日志】Prometheus/Loki+Alertmanager+Grafana监控告警

参考文章:匹配写法:https://blog.ossq.cn/2674.html。

CN_Eden 1324

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Hive 开窗函数 汇总

近期用开窗函数比较多老是用不好 ,这里做一下汇总

薛秋艳的博客 5048

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

hive中的开窗函数

目录count开窗函数sum开窗函数min开窗函数max开窗函数avg开窗函数first_value开窗函数last_value开窗函数lag开窗函数、lead开窗函数cume_dist开窗函数排序开窗函数rank开窗函数dense_rank开窗函数ntile开窗函数row_number开窗函数percent_rank开窗函数 最近遇到了hive开窗函数的工作,并且面试时很有可能会问到hive的...

fuyun6363的博客 2066

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

hive的开窗函数

hive的开窗函数 开窗函数可用于组内数据分析排序。 开窗函数的语法 Function (arg1,..., argn) OVER ([PARTITION BY <...>] [ORDER BY <....>] [<window_expression>]) hive常用的开窗函数Function : -- 聚合开窗函数 count(); -- 窗口内总条数 sum(); -- 窗口内数据的和 min(); -- 窗口内最小值 max(); -- 窗口内最

Climber 6101

HIVE 开窗函数

在开窗函数出现之前,存在着很多用 SQL 语句很难解决的问题,很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题,在2003年ISO SQL标准加入了开窗函数,开窗函数的使用使得这些经典的难题可以被轻松的解决 ; SQL标准允许将所有聚合函数用做开窗函数,只需要在聚合函数后加over()即可 案例演示 1.hive环境下建表与加载数据 vi t1.txt u0...

永青技术博客 3148

Hive第六天——Hive函数(开窗函数之累计统计)

本文部分参考自:https://blog.youkuaiyun.com/qq_23897391/article/details/100558433 Hive第六天——Hive函数 自己的话:千里之行,始于足下。 每天都要保持前进,我势必要有强劲的实力,再跟明天的自己问好。 开窗函数:累计统计 这类函数叫法很多,包括分析函数、窗口函数、开窗函数、分析窗口函数,其实说的都是一类函数 一、开窗函数简介 开窗函...

你怎么回事 8287

Hive开窗函数总结

随着技术的发展,各行各业产生的数据量级都越来越大,而hive sql作为大数据最好用的工具,使用的用户越来越多。但是,在日常工作中,好多同学对于hive sql的使用还仅仅停留在MySQL阶段。这可就大材小用了,要知道hive的数据处理能力要比mysql强很多,不仅仅是数量大,功能上也更强大。今天就给介绍一下hive的数据分析利器——开窗函数 目录 应用场景 定义 参数详解 聚合计算类 排序类 结语 应用场景 在日常工作中,我们经常会遇到按照某个指标排序并增加排名;按照顺序累加某个指标;计

IT_心如止水的博客 980
上一篇: 2021年大数据Hive(六):Hive的表生成函数
下一篇: Java面试知识点总结
OpenSource_
博客等级 码龄5年 48粉丝 68原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值