hiveSql 重分组聚合问题

hive 高级分组聚合(grouping sets cube和rollup) 使用高级分组聚合,例如SELECTa,b,SUM(c)FROMtblGROUPBYa,bGROUPINGSETS(a,b),仅用了一个作业就能够实现union写法需要多个作业才能实现的事情,从这点来看能够减少多个作业在磁盘和网络I/O时多增加的负担,是一种优化,但是同时也要注意因过度使用高级分组聚合语句而导致的数据极速膨胀的问题。相当于selecta,b,sum(c)fromtblgroupbya,b。2.cube会计算所有groupby列的所有组合。...... 阅读详情

hiveSql 重分组聚合问题

问题

将下图中A表转变为B和C,即A->B A->C
在这里插入图片描述

分析

  • 1.首先看A->B,可见是将name列分组,取最大组内最大id。介绍两种求解方式:
    1)很容易想到,开窗函数first_value() over() 按照name分组取组内最大id,再按照最大id分组,聚合name即可;
    2)也容易想到直接按照name分组,求name个数,利用函数repeat按照每个name个数重复name即可,这里有连接符|有个小技巧,具体见sql实现。
  • 2.再看A->C,可见是将连续的name分为一组,取连续name分组内的最大id,很容易想到重分组解法,将不连续的部分计为1,sum() over()累加造是否是连续的分组字段,从而分组取组内最大id 和 串联拼接name

实现

  • 1.A->B:
    1)第一种分析思路解法:
select 
	flag as id
    ,concat_ws('|',collect_list(name)) as name
from(
    select id
          ,name
          ,first_value(id) over(partition by name order by cast(id as int) desc) as flag
    from tmp
	) t
group by flag

2)第二种分析思路解法:

select 
    max(id) as id
    ,regexp_replace(trim(repeat(concat(name,' '),count(1))),' ','|')as name
from tmp group by name

此处利用repeat()方法,重复name分组个数,按照空格连接,但是最后会多出一个空格,利用trim()将前后空格去除,再将空格替换为竖线连接name即可
结果:
在这里插入图片描述

  • 2.A->C:
select 
    max(t1.id) as id,
    wm_concat('|',t1.name) as name
from
    (select 
        id,name,sum(if(name = name1,0,1)) over(order by id) as flag
    from  
        (select 
            id,name,
            lag(name) over( order by id ) as name1
        from tmp
        ) t
    ) t1
group by t1.flag

结果:
在这里插入图片描述

最后

喜欢的点赞、关注、收藏吧~ 你的支持是最大的创作动力~~

什么是hive的高级分组聚合,它的用法和注意事项以及性能分析 使用高级分组聚合不仅可以简化SQL语句,而且通常情况下会提升SQL语句的性能。 阅读详情

相关推荐

HiveSQL之collect_set()/collect_list()聚合函数

Hive collect_set() collect_list() Hive实现listagg函数

weixin_42771366的博客 2718

hivesql实现不同的求和需求【分组求和、帕累托累计求和、滑动求和】

hivesql求和,分组求和,帕累托累计求和,滑动求和

zyq_victory的博客 2611

HiveSQL题——collect_set()/collect_list()聚合函数

HiveSQL题——collect_set()/collect_list()聚合函数

爱吃辣条的博客 1万+

Hive--count(distinct)优化

前言 使用count distinct计算两列联合去重时,若有任何一列为NULL,那么count计数时就会略过这一条。 如:count(distinct a,b) 若a或者b中有一个是null,那么这一行就不会参与计数 平台:hive、mysql都是如此 id tools name 1 hive a 2 hive b 3 hive NULL 4 NULL m 6 观察以下代码执行结果 ...

qq_46893497的博客 4656

HiveSQL基础练习题

score s join (select course_id from course where tea_id in (select tea_id from teacher where tea_name=‘李体音’)) t on s.course_id=t.course_id。(select course_id from course where tea_id in (select tea_id from teacher where tea_name=‘李体音’)) t。)) 对数组中的元素进行升序排序。

weixin_43977307的博客 1380

HiveSQL实战:利用collect_set()/collect_list()实现用户行为数据聚合与排序

本文深入解析HiveSQL中collect_set()和collect_list()聚合函数在用户行为数据分析中的应用。针对聚合后数据顺序错乱的常见问题,提供了两种实战解决方案:通过distribute by与sort by组合实现全局排序,或利用sort_array函数对复合字段进行排序,确保用户行为序列的准确还原,并结合concat_ws函数优化结果展示。

lg888的博客 1001

HiveSQL

HiveSQL Hive Sql 入门教程基础关键字用法 前置教程 hive库表知识 hive库是表的一个集合,一个库拥有多个表,hive整个数据库拥有多个库。 hive表代表一个对象,比如一个人设计为一个表就有身高体重等属性,在hive 中实际存储表现为每张表会有一个存储地址,比如表名为people,实际存储会有 hive中的分区概念 /xx/xx/people,hive中引用了一个很重要的概念分区,分区实际上也是这个表的字段,反映在 实际存储中通常以天为分区,存储在址为/xx/xx/peopl

qq_43528451的博客 1万+

HiveSQL题——collect_set()collect_list()聚合函数

collect_set()函数与collect_list()函数属于高级聚合函数(行转列),将分组中的某列转换成一个数组返回,常与concat_ws()函数连用实现字段拼接效果。collect_list:收集并形成list集合,结果不去重collect_set:收集并形成set集合,结果去重。

m0_74825360的博客 676

HiveSQL 聚合技巧——grouping sets、cube、rollup

HiveSQL 聚合技巧grouping sets问题1:同时获取用户的性别分布、城市分布、等级分布问题2:同时获取用户的性别分布以及每个性别的城市分布cube问题:性别、城市、等级的各种组合的用户分布rollup问题:同时计算每个月的支付金额,以及每年的总支付金额 grouping sets grouping sets() 在 group by 查询中,根据不同的维度组合进行聚合,等价于将不同维度的 group by 结果集进行 union all。聚合规则在括号中进行指定。 问题1:同时获取用户的性别分

Fighting 1925

SQL进阶技巧:基于相邻时间间隔阈值触发的访问会话切割问题 | 断点分组算法应用

一种基于相邻时间间隔阈值触发的访问会话切割问题

石榴姐yyds 1611

Megatron-LM深度解析:万亿参数大模型的3D并行训练之道

训练框架,采用创新的"层内模型并行"设计,通过将Transformer层的计算拆分到多个GPU上并行执行,显著提升训练效率。该系统支持3D并行策略(数据并行、张量并行、流水线并行)和序列并行等新技术,成功应用于训练5300亿参数的MT-NLG模型。相比DeepSpeed、TPU GSPMD等框架,Megatron-LM在NVIDIA GPU上展现出卓越性能,并与TensorRT等工具深度集成,形成从训练到部署的完整解决方案。该项目持续演进,已成为大模型训练的重要基准。

数据与算法架构提升之路专栏 2103

Hivesql常用优化技巧

首先介绍下什么是HIve? 1.基于Hadoop的开源的数据仓库工具,用于处理海量海量结构化数据。 2.Hive把HDFS中的结构化的数据文件映射成数据表。 3.Hive通过HiveSQL进行解析和转换,最终映射成一系列在hadoop上运行的mapreduce任务,通过执行这些任务完成分析和处理。 4.HiveSql和Mysql一样,都遵循着SQL的标准,因此它们很多语句都是一样的。 一、先复习下SQL的语句的结构 SELECT * (必须) FROM 表(数据源) WHERE

weixin_56175042的博客 7583

uniCloud云存储进阶:七牛云扩展存储从开通、绑定域名到批量上传的完整实战

本文详细介绍了uniCloud云存储进阶实践,重点讲解如何通过七牛云扩展存储实现从开通、绑定域名到批量上传的完整流程。内容涵盖成本优势分析、域名备案方案、SSL证书配置、多文件并发上传控制等实战技巧,并提供可直接复用的代码示例,帮助开发者高效构建内容社区类应用。

weixin_26985923的博客 470

hiveSQL常见面试题

小编前几天去面试了一个大数据分析的岗位,学习了几个月信心满满的小编被无情的面试教育了,被教育的不是一些高深的算法理论,而是一些hiveSQL。 这些题小编真不是不会,场景都非常熟悉,但就是容易忘。今天小编整理了一点常用场景的hiveSQL,很可能就能在面试中帮到你。 场景一:分组求TopN 先看数据: 好像把小编的数学成绩暴露了,现在需要求每一门科目,成绩排名前两名的同学。 使用H...

AI课工场 3903

深入STM32 USB OTG FS:从官方MSC例程到实战双存储设备移植全记录

本文详细解析了STM32 USB OTG FS在双存储设备开发中的实战应用,从协议栈底层机制到SD卡/SPI Flash同步挂载的实现。通过优化SDIO接口和SPI Flash驱动,结合USB MSC类的关键实现,提供了完整的解决方案和性能优化策略,适合嵌入式开发者参考。

weixin_28366475的博客 372

STM32MP157+AD7606BSTZ四通道IEPE传感器控制器实战(附电路图)

本文详细介绍了基于STM32MP157和AD7606BSTZ的四通道IEPE传感器控制器设计实战,涵盖硬件架构、数据采集芯片对比、关键电路设计及信号处理算法。通过双核协同工作和优化算法,实现高精度振动监测与故障诊断,适用于工业机械状态监测等场景。

weixin_29171129的博客 370

HiveSql语法优化一 :分组聚合优化

第二个参数reduction是指在聚合前判断该表是否适合map端聚合,它会先对若干条数据进行map-side聚合,若聚合后的条数和聚合前的条数比值小于该值,则认为该表适合进行map-side聚合;,利用其完成部分的聚合,然后将部分聚合的结果,按照分组字段分区,发送至reduce端,完成最终的聚合。第四个参数是map-side聚合所用的hash table,占用map task堆内存的最大比例,若超出该值,则会对hash table进行一次flush。所谓map-side聚合,Map端负责读取数据,并。

zmx_messi的博客 931

AquaCrop-OSPy学习笔记02:模型输入设置

AquaCrop-OSPy的输入设置

EWBA_GIS_RS_ER的博客 3700

SparkSQL HiveSQL 常用正则表达式

SparkSQL HiveSQL 常用正则表达式 目录 SparkSQL HiveSQL 常用正则表达式 1、匹配汉字: 2、匹配手机号码 3、匹配身份证: 4、SparkSQL HiveSQL 常用正则函数: 5、SparkSQL分组 ...

ytp552200ytp的博客 5469

ardupilot 日志分析《xKF1信息》

ardupilot 日志分析系列将会把ardupilot所有的日志文档进行分析,为我们分析无人机的运行状态,炸鸡原因,传感器状态,电机状态,控制信息,滤波信息做准备。本节主要分析xKF1日志信息,欢迎批评指正。学习好ardupilot必须会分析飞行日志,从飞行日志中我们可以学到很多无人机的知识。无人机是综合知识的体现,涵盖:导航、控制、滤波、算法、协议等各种知识,只有更全面的学习,才能在无人机的道路上越走越远。

陌城烟雨 1226

YOLOv11改进 | 损失函数篇 | YOLOv11引入引MPDIoU, GIoU,DIoU, CIoU, SIoU,EIoU, WIoU, LMPDIoU等损失函数

到此本文的正式分享内容就结束了,在这里给大家推荐我的YOLOv11改进有效涨点专栏,本专栏目前为新开的,后期我会根据各种前沿顶会进行论文复现,也会对一些老的改进机制进行补充,如果大家觉得本文帮助到你了,订阅本专栏,关注后续更多的更新~1. YOLOv11中添加MPDIoU, GIoU,DIoU, CIoU, SIoU等损失函数的方式。文件中用给出的代码替换掉。

tsg6698的博客 5280

HiveSQL题——数据炸裂和数据合并

HiveSQL题——数据炸裂和数据合并

爱吃辣条的博客 1699

基于FFT的轴承故障诊断 - MATLAB代码和详细解释

最后,我们可以根据异常特征的位置和特征分析来确定轴承故障的类型。最后,我们可以根据异常特征的位置和特征分析来确定轴承故障的类型。因此,通过分析频谱图,我们可以识别轴承故障的特征。因此,通过分析频谱图,我们可以识别轴承故障的特征。我们可以选择适当的阈值,并在频谱图上标记异常特征。通过这种基于FFT的轴承故障诊断方法,我们可以快速、准确地检测和诊断轴承故障。接下来,我们将应用FFT来获取振动信号的频谱信息,频谱显示了信号在不同频率上的能量分布。通过将异常特征标记在频谱图上,我们可以直观地识别轴承故障的存在。

COWizard的博客 615

漫谈大数据 - HiveSQL总结(二)查询操作

导语:HiveSQL各关键字详解,hive函数大全,类似于个人记录工具书,后续遇到其他的也会继续加进来。

引用原创内容标明出处即可 4339

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

上一篇: hiveSql 连续区间的起始结束位置
下一篇: hiveSql 构建连续日期
@nanami
博客等级 码龄9年 4247粉丝 53原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@nanami

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值