HIVE窗口函数合集 -- 持续更新

Kettle全版本安装包及驱动合集:免费网盘资源一站式获取(持续更新) 本文提供Kettle全版本安装包及常用数据库驱动的一站式免费网盘资源合集,并持续更新。文章详细对比了Kettle 8.2、9.2、9.3版本的优缺点,推荐9.2为平衡稳定与功能的“甜点”版本,并附上手把手的下载、安装与驱动配置实战指南,帮助用户高效获取资源并快速上手。 阅读详情


建议参考阿里云 MaxCompute 的这份 窗口函数 的文档,写得非常详细,强烈推荐!

NTILE – 将分组数据按照顺序切片,并返回切片值

NTILE(NUMBER) OVER(PARTITION BY COL1 ORDER BY COL2):按照分组排序后将数据切分为n个分区:
若组内数据比分区数多(一组8条数据,要分为6个分区):则先分满6个(1至6)在从小到大分区(即1至2)最后分区是(11223456)
若组内数据比分区数少(一组8条数据,要分为10个分区):则按照顺序分区即可(12345678)
在这里插入图片描述

RANK – 计算跳跃排名

RANK() OVER(PARTITION BY COL1 ORDER BY COL2):分组排序后将数据组内标出排序序号,相同值排序序号并列且占下一位排序序号
例如科目1有学生成绩如下:100,90,90,80,70
select rank() over(partition by subject order by score desc) 排序结果为 1,2,2,4,5

DENSE_RANK – 计算连续排名

DENSE_RANK() OVER(PARTITION BY COL1 ORDER BY COL2):分组排序后组内标出排序序号,相同排序序号并列且不会占下一位排序序号
例如科目1有学生成绩如下:100,90,90,80,70
select dense_rank() over(partition by subject order by score desc) 排序结果为 1,2,2,3,4

ROW_NUMBER – 计算行号

ROW_NUMBER() OVER(PARTITION BY COL1 ORDER BY COL2):分组排序后组内标出排序序号,相同排序序号不并列
例如有一科目,学生成绩如下:100,90,90,80,70
select row_number() over(partition by subject order by score desc) 排序结果为 1,2,3,4,5
可参考NTILE,ROW_NUMBER,RANK,DENSE_RANK

LAG – 按偏移量取当前行之前第几行的值

LAG(COL2,NUMBER,DEFAULT) OVER(PARTITION BY COL1 ORDER BY COL2):向前(这里根据COL2排序后来判断前后,不论COL2升序还是降序,取往排序后的相对于当前行的前(上)第NUMBER行数据)
例如按照降序排序后比较当前序号与相差4个序号的学生的成绩差值
有一科目学生成绩如下:100,90,90,80,70,60,50,40
每个当前数据都要和相对当前数据的前四位做差值,即从70开始(因为100,90,90,80他们都没有前面的4位)。70和100做差,60和90做差,50和90做差,40和80做差
前4位(100,90,90,80)没有做差对象此处填写传入的第三个参数DEFAULT
select score,lag(score,4,0) over(partition by subject order by score desc) as irank
最后数据如下:

scoreirank
1000
900
900
800
70100
6090
5090
4080

LEAD – 按偏移量取当前行之后第几行的值

LEAD(COL2,NUMBER,DEFAULT) OVER(PARTITION BY COL1 ORDER BY COL2):区别于LAG,是向后(下)取NUMBER位
例如有一科目学生成绩如下:100,90,90,80,70,60,50,40
select score,lead(score,4,0) over(partition by subject order by score desc) as irank
最后数据如下:

scoreirank
10070
9060
9050
8040
700
600
500
400

FIRST_VALUE – 计算组内排第一的值

FIRST_VALUE() OVER(PARTITION BY COL1 ORDER BY COL2):分组排序后取组内排序第一位的值
例如有两门学科学生成绩如下:A学科100,90,80,70;B学科90,85,75,60
现在取该学科(即分组)第一的学生成绩与每一名学生的成绩做差
select subject,score,first_value(score) over(partition by subject order by score desc) as irank
最后数据如下:

学科每名学生成绩学科内最好成绩
A100100
A90100
A80100
A70100
B9090
B8590
B7590
B6090

LAST_VALUE – 计算组内排倒数第一的值

LAST_VALUE() OVER(PARTITION BY COL1 ORDER BY COL2):区别于FIRSE_VALUE,是取组内排序最后一位的值
例如有两门学科学生成绩如下:A学科100,90,80,70;B学科90,85,75,60
现在取该学科(即分组)第一的学生成绩与最后一名学生的成绩做差
select subject,score,last_value(score) over(partition by subject order by score desc) as irank
最后数据如下:

学科每名学生成绩学科内最差成绩
A10070
A9070
A8070
A7070
B9060
B8560
B7560
B7060

可参考LAG,LEAD,FIRST_VALUE,LAST_VALUE

PERCENT_RANK – 组内当前行RANK值-1/分组内总行-1

PERCENT_RANK() OVER(PARTITION BY COL1 ORDER BY COL2):分组内当前行的RANK值-1/分组内总行数-1
例如有两门学科学生成绩如下:A学科100,90,80,70;B学科90,85,75,60
现在取该学科(即分组)第一的学生成绩与最后一名学生的成绩做差
select subject,score,persent_rank() over(partition by subject order by score desc) as irank
最后数据如下:

学科scoreirank
A1000.0
A900.333…
A800.666…
A701.0
B900.0
B850.333…
B750.666…
B701.0

PS:

  • 第一行0.0计算方法:当前行序号为1,组内总行数为4。则(1-1)/(4-1) = 0.0
  • 第二行0.333…计算方法:当前行序号为2,组内总行数为4。则(2-1)/(4-1) = 0.333…
  • 依次逻辑类推其他irank,得出计算结果

CUME_DIST – 当前值的行数/分组内总行数

CUME_DIST() OVER(PARTITION BY COL1 ORDER BY COL2):
order by col2 asc:为小于等于当前值的行数/分组内总行数
order by col2 desc:为大于等于当前值的行数/分组内总行数
例如有两门学科学生成绩如下:A学科100,90,80,70;B学科90,85,75,60
现在取该学科(即分组)第一的学生成绩与最后一名学生的成绩做差
select subject,score
,cume_dist() over(partition by subject order by score desc) as irank_desc
,cume_dist() over(partition by subject order by score asc) as irank_asc
最后数据如下:

学科scoreirank_descirank_asc
A1000.251.0
A900.50.75
A800.750.5
A701.00.25
B900.251.0
B850.50.75
B750.750.5
B701.00.25

在这里插入图片描述

可参考percent_rank / cume_dist

MEDIAN – 计算中位数。

返回组内中位数
select subject,score,median(score) over(partition by subject) as median_num

subjectscoremedian_num
A10090
A9090
A8090
B9575
B7575
B6075

GROUPING SETS

指定多维度分组聚合
在这里插入图片描述

CUBE

根据GROUP BY的维度的所有组合进行聚合
下图中with cube等价于 grouping sets( (), (idate), (itype), (idate,itype) ),即分区字段全排列
在这里插入图片描述

ROLLUP

是CUBE的子集,以最左侧的维度为主,从该维度进行层级聚合。
下图中with rollup等价于 grouping sets( (), (idate), (idate,itype) ),即分区字段按左字段排列
在这里插入图片描述

GROUPING_ID

用于区别结果属于哪个分组
在这里插入图片描述

WINDOW子句

在这里插入图片描述
n PRECEDING:向前n行;
CURRENT:当前行;
n FOLLOWING:向后n行;
UNBOUNDED:边界;
例如:

  • 1.起点到当前行的聚合
    between UNBOUNDED PRECEDING and CURRENT ROW
  • 2.当前行及后面所有行
    between CURRENT ROW and UNBOUNDED FOLLOWING
  • 3.当前行和前面一行做聚合
    between CURRENT ROW and 1 PRECEDING
  • 4.当前行和后面一行做聚合
    between CURRENT ROW and 1 FOLLOWING
  • 4.当前行和前一行和后一行做聚合
    between 1 PRECEDING and 1 FOLLOWING
【右一的电子笔记】全导航,持续更新... 【笔记涵盖】:数据结构、数据库、计算机网络、计算机组成原理、操作系统、图形学、大数据管理与分析、大数据安全、信息检索与数据挖掘、机器学习...... 阅读详情

相关推荐

Windows Server 2016 下载

Windows Server 2016 下载 简介: Windows Server 2016是微软于2016年10月13日正式发布的最新服务器操作系统。基于Win10 1607(LTSB)内核所开发。 Windows Server 2016 Essentials edition(精华版) Windows Server 2016 Essentials版是专为小型企业而设计的。它对应于Win...

StudyOgre的博客 1万+

[1239]hive求解中位数

中位数(Median)又称中值,统计学中的专有名词,是按顺序排列的一组数据中居于中间位置的数,代表一个样本、种群或概率分布中的一个数值,其可将数值集合划分为相等的上下两部分。对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,通常取最中间的两个数值的平均数作为中位数。

周小董 2318

PythonOCC基础使用:建模——倒角倒圆(二维+三维)

占坑

weixin_42755384的博客 4639

Hive 之中位数

中位数(Median)又称中值,统计学中的专有名词,是按顺序排列的一组数据中居于中间位置的数,代表一个样本、种群或概率分布中的一个数值,其可将数值集合划分为相等的上下两部分。对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,通常取最中间的两个数值的平均数作为中位数。

JIE的博客 --- moon_coder 5958

特征提取 Features Extraction

介绍了特征提取的基本概念,从分类变量,文本信息和图片信息中进行特征提取的方法,以及实现特征提取的类库

JasonH2021的博客 1万+

【记录】游戏体验报告怎么写(自我成长篇)

2019年3月更新: 这个倒是不用推翻,我个人虽然写的东西还是有一些偏差的,但是“表哥”说的倒是没毛病的,这篇主要是为了记录用,具体的干货也有,都在图片里,请自行提取 =====18年初原答案 作为一个游戏策划新人,游戏分析可能抓不到点子上,试着总结记录一下游戏体验报告分析的成长(因为水平不同,视野可能也不一样,也许之后几年回头看这些东西都是小儿科或者是错误的,所以只写出当下的想...

eat_human的博客 6万+

HIVE学习系列——函数学习1 聚合函数

聚合函数

KH的博客 1656

POWER(十一)charge pump原理

电荷泵是一种基于电容充放电原理的DC-DC转换电路,通过开关控制实现电压转换,包括升压、降压和负压输出。其核心是利用电荷守恒原理,通过电容存储和转移电荷来改变输出电压。典型拓扑结构包括倍压电路和多阶升压电路,具有结构简单、体积小等优势。关键参数包括转换效率、输出电流能力和开关频率,适用于芯片供电、显示屏驱动等低功耗场景。LVDS部分补充说明了自举电路在驱动电路中的应用及其自同步特性。

zhlwsh的博客 2835

hive中如何求取中位数?

中位数(Median)又称中值,统计学中的专有名词,是按顺序排列的一组数据中居于中间位置的数,代表一个样本、种群或概率分布中的一个数值,其可将数值集合划分为相等的上下两部分。对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,通常取最中间的两个数值的平均数作为中位数。分析最中间的两个数为23和30,均值为26.5。方法1:使用hive自带函数。方法2:正排倒排来一遍法。方法3:充分利用窗口函数。

weixin_43597208的博客 1720

vue支付项目-APP支付宝支付功能

如果用户已安装支付宝客户端,商家 App 唤起支付宝完成支付,支付完后跳回到商家 App 内,最后展示支付结果。如果用户没有安装支付宝客户端,商家 App 内会调起支付宝网页支付收银台,用户登录支付宝账号,支付完后展示支付结果。1.点击按钮开通或者续费,会验证是否选择会员商品以及对协议是否查看选中(这里根据项目需要自行验证,可忽略),验证通过打开选择支付方式弹窗页面,选择微信支付或者支付宝支付;4.可取消支付,放弃支付会返回会员页面,页面提示支付取消;1.判断支付方式,如果是2,则是支付宝支付方式。

总结前端开发中遇到的问题,分享前端知识 1万+

ASProxy64.dll导致jetbrains家的IDE都无法打开。

摘要:在Windows11系统中,JetBrains IDE无法启动,报错指向ASProxy64.dll文件。该第三方DLL被注入到JVM原生层,导致内存访问冲突(错误代码0xc0000005)。经排查发现此文件来自Astrill软件。解决方案为卸载Astrill后重启电脑,问题得以解决。该案例表明第三方DLL注入可能影响IDE正常运行,卸载相关软件是最直接的解决方法。(149字)

猿小白的博客 941

hive窗口函数最全总结

hive窗口函数使用

数据挖掘+大数据研发+算法学习 1万+

【YOLO26实战全攻略】19——智慧交通(一):高速抛洒物与事故检测全流程落地

在智慧交通领域,高速公路抛洒物、交通事故等突发状况常导致二次事故与大规模拥堵,传统人工监控存在响应滞后、覆盖有限等痛点。本文基于Ultralytics YOLO26算法,结合ByteTrack多目标跟踪技术,构建从数据准备、模型训练到边缘部署的全栈式智慧交通检测系统。核心内容包括:多车型专属数据集构建、抛洒物检测模型优化、ByteTrack轨迹跟踪集成、异常事件(违停/逆行/碰撞)识别逻辑实现,以及NVIDIA Jetson边缘设备部署方案。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1495

Hive 问题合集 持续更新

一 hive建表信息中文乱码:显示问号等 问题现象: 主要原因:   1 hive元数据库mysql 或者mariaDB 编码格式问题   2 hive元数据定义信息编码格式问题 解决方案: 对于第一种问题:修改配置文件 在/etc/my.cnf文件中 在[mysqld]标签下添加 init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8' character-set-se

xuye0606的博客 135

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Hive的伴奏_AudioJungle超大音乐素材资源包配乐音效库AE模板音乐合集影视片头背景音乐...

VideoHive和AudioJungle是Envato旗下两个并列的网站,VideoHive主要出售AE模板视频素材等,而AudioJungle主要出售音乐,是VideoHive AE模板专用的背景音乐,一首音乐本身的价格甚至比模板还贵。音乐的风格多样,包含大量轻快、婚礼、浪漫、积极、震撼等风格,格式为MP3+WAV,7500+首曲子,解压后237G+,免费更新,市面最全官方网址:www.aud...

weixin_35718351的博客 526

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

CDH HDP ambari CM问题合集,持续更新

一问题现象: namenode 数据块丢失 NameNode Blocks Health Total Blocks:[5247], Missing Blocks:[4677] 问题原因: datanode 或namenode数据 丢失 冗余副本数据不一致造成 解决办法: 删除丢失模块元数据,6小时后数据会自动同步 相关指令: 查看丢失数据块:hdfs fsck / 简单删除丢失块命令行 for (( i=0; i<100; i++ )) do hdfs fsck / |

xuye0606的博客 642

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

全网最全!大数据 & 中间件 & Linux 历史版本下载地址大合集(持续更新)

大数据技术栈历史版本下载指南 本文汇总了主流大数据组件(Hadoop、Spark、Kafka等)、Linux系统(CentOS、Ubuntu)和虚拟化工具(VirtualBox)的历史版本官方下载地址,方便开发者进行本地部署和兼容性测试。包含Apache项目归档站点、ElasticSearch历史版本、Anaconda旧版本等资源,同时提供版本搭配建议、批量下载技巧和国内镜像加速方案。文章将持续更新更多技术栈的历史版本资源,适合需要特定版本进行开发测试的技术人员收藏参考。

qq_39251691的博客 1428

大数据技术合集(持续更新)

0. 大数据技术演变史(来自通信院) 1. 起源:Google的三驾马车 1.1 GFS 1.2 BigTable 1.3 MapReduce 2. 开源大数据文件、对象、列式等存储 2.1 文件系统:HDFS、Ceph、GlusterFS 2.2 分布式缓冲文件系统:Alluxio、JuiceFS 2.3 对象存储:OZone、SeaweedFS、MinIO 3. 列式数据库:HBase、Cassandra 3.1 OLAP数据库:Hive、Doris、Kylin、Clickhouse 3.2 HTAP

lemo的专栏 2689

Hive基本介绍

面试题文档来啦,内容很多,485页!由于笔记的内容太多,没办法全部展示出来,下面只截取部分内容展示。

shenliba的博客 600

java程序员1-10级,持续更新~

阿里巴巴Java 程序员常用的 10 款开源工具本文主要介绍了阿里巴巴Java程序员常用的一些基本和高级的工具。如果你是一个经验丰富的Java开发人员,你可能熟悉这些工具,但如果没有 10、Linux Linux最好从Linux命令行的基础知识入手。Linux是一个自由开放源代码的Unix操作系统,在你的职业生涯中起着重要的作用。 Java程序员应该知道的20个有用的库程序员经常会因为不编写单元测试而找借口,但避免单元测试最常见的借口是缺乏流行单元测试库的经验和知识,包括JUnit、Mockito和P

facai122的博客 6886

04-Hive表数据导入和导出

1,如果数据在本地,加载数据的本质就是将数据copy到hdfs上的表目录下。(img-SJMeuIUA-1711530508034)]2,如果数据在hdfs上,加载数据的本质是将数据移动到hdfs的表目录下。当然在这还有更多整理总结的Java进阶学习笔记和面试题未展示,其中囊括了。–1. 导出数据到本地文件系统的目录下。–2. 导出数据到hdfs的目录下。–3.修改导出后的列与列之间的格式。—导出的文件字段默认不分隔。#扩展内容 只复制表结构。方法四 :克隆表数据。

2301_76278775的博客 886

hive踩过的小坑,java面试问题大全及答案大全

面试题文档来啦,内容很多,485页!由于笔记的内容太多,没办法全部展示出来,下面只截取部分内容展示。

m0_60721823的博客 919

大数据:Hadoop基础常识hive,hbase,MapReduce,Spark

今天关于面试的分享就到这里,还是那句话,有些东西你不仅要懂,而且要能够很好地表达出来,能够让面试官认可你的理解,例如Handler机制,这个是面试必问之题。有些晦涩的点,或许它只活在面试当中,实际工作当中你压根不会用到它,但是你要知道它是什么东西。最后在这里小编分享一份自己收录整理上述技术体系图相关的几十套腾讯、头条、阿里、美团等公司的面试题,把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,这里以图片的形式给大家展示一部分。还有。

2401_84049001的博客 2035

各技术实战开发文章整合(持续更新)

一、Spring框架开发 SpringBoot——第一个项目 Spring项目——抵御跨站脚本(XSS)攻击 Spring项目——Shiro和JWT技术 二、Hadoop大数据开发 Hadoop——集群搭建(步骤图文超详细版) Hadoop——安装MySQL、Hive以及Sqoop(步骤图文超详细版) Hadoop——HDF的Shell命令 Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法) Hadoop——MapReduce实现单词统计和排序(图

Huisoul的博客 1万+

Python入门到精通最全最详细合集,持续更新中,宅家36天咸鱼翻身入职腾讯

🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。

m0_60452141的博客 348

Hive的伴奏_2018大合集Videohive AE模板音乐AudioJungle超级配乐库影视片头音乐最新最全持续更新...

目录:AudioJungle – A Christmas Story 20880495AudioJungle – A Moment In The Making 4541920AudioJungle – Bach’s Techno Hip Hop Xmas 2524AudioJungle – Beautiful Acoustic 6330707AudioJungle – Bridal March S...

weixin_39691748的博客 1385
上一篇: linux下安装jdk
下一篇: hiveSql完成类递归计算
@nanami
博客等级 码龄9年 4247粉丝 53原创
评论 10
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@nanami

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值