万字长文详解Hive聚合函数 grouping sets、cube、rollup原理、语法、案例和优化

已于 2024-11-03 07:16:24 修改
阅读量829 收藏 10
点赞数 8
分类专栏： 数据挖掘/数据分析师最全面试题-从入门到Offer Spark/Flink/Doris离线&实时数仓开发 大数据最全面试题-Offer直通车 文章标签： 人工智能 spark 大数据 实时计算 离线数仓 指标 报表
于 2024-11-03 00:13:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/linweidong/article/details/143336863
版权

目录

原理与语法

使用场景

多维度报表生成

复杂的数据分析

实际案例

原理与语法

与GROUPINGSETS的区别

实际案例

原理与语法

与CUBE的对比

实际案例

执行效率比较

优化建议

Hive提供了三个强大的高级聚合函数： GROUPING SETS 、 CUBE 和 ROLLUP ，用于处理复杂的数据分析需求。这些函数允许用户在单个查询中执行多维度的聚合操作，显著提高了数据分析的灵活性和效率。

函数

特点

应用场景

GROUPING SETS

指定特定的维度组合进行聚合

高度定制化的多维度报表

CUBE

生成所有可能的维度组合

全面的多维数据分析

ROLLUP
了解本专栏 订阅专栏 解锁全文
数仓工具—Hive语法之grouping sets(5)
01-01 6万+
GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个HIVE SQL语句中的便利写法。 GROUPING SETS会把在单个GROUP BY逻辑中没有参与GROUP BY的那一列置为NULL值，这样聚合出来的结果，未被GROUP BY的列将显示为NULL。
《Spark/Flink/Doris离线&实时数仓开发》目录
最新发布
大模型大数据攻城狮的专栏
05-24 1099
欢迎加入《Spark/Flink/Doris离线&实时数仓开发》付费专栏！本专栏专为大数据工程师、数据分析师及准备大数据面试的求职者量身打造，聚焦Spark、Flink、Doris等核心技术，覆盖离线与实时数仓开发的全流程。无论你是想快速上手项目、提升技术能力，还是在面试中脱颖而出，这里都能为你提供。
hive 新增的聚合功能
胖头鱼的专栏
03-21 2887
hive 新增加了以下四种聚合功能，扩展了之前只能group by 一组的模式。 GROUPING SETS clauseGrouping__ID functionCubes and Rollupshive.new.job.grouping.set.cardinality 1. GROUPING SETS 这个功能比较容易理解，就如下表所示。 Aggr
HIVE相关方法优化之聚合函数GROUP SETS
weixin_40809627的博客
07-05 3792
1、背景 在数据开发统计相关计算过程中，group by 和group sets 是我们经常用的方法。但当统计指标过程中如果维度特别多，会使得数据任务运行特别慢，导致任务延迟经常出现。针对上面问题对group sets 常用指标进行调研优化。 2、 ...
hive中grouping sets
u011500419的专栏
04-11 1751
hive中grouping sets 数量较多时如何处理? 可以使用如下设置来 sethive.new.job.grouping.set.cardinality=30; 这条设置的意义在于告知解释器，group by之前，每条数据复制量在30份以内。 grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。 demo： sele...
hive的set优化_hive性能优化(一)
weixin_35338559的博客
01-14 203
Hive抓取策略：Hive中对某些情况的查询不需要使用MapReduce计算1.select仅查询本表字段2.where仅对本表字段做条件过滤抓取策略Set hive.fetch.task.conversion=none/more;Hive运行方式：本地模式开启本地模式：set hive.exec.mode.local.auto=true;注意：hive.exec.mode.local.auto....
使用groupingsets函数优化数仓离线计算性能表现、原理分析及避坑指南
a80090023的专栏
02-28 2228
1.上线该优化后任务性能表现 任务执行时长： 任务一：该任务为wps_android国内应用的天任务耗时截图，执行时长缩短3-4倍。该任务是天任务中最长的任务，也就是说以现在的任务流程部署情况，整体天任务执行时长缩短3倍以上。 任务二：该任务为国内应用的周任务耗时截图，执行时长缩短3-4倍。 任务三：该任务为数仓单个子任务中耗时最长的任务（30天活跃任务），执行时间缩短5-6倍。其中任务的执行时间包括执行hive sql查询的时间+数据写入RDS的时间。 任务四：该任务为数仓月任务..
多维度组合grouping sets
benbendexiaolanxiong的博客
08-20 237
grouping sets示例
hive、spark、presto 中的增强聚合-grouping sets、rollup、cube
向热爱自己一样，热爱这个世界。
09-19 1942
如何在 hive、spark、presto 中使用增强聚合-grouping sets、rollup、cube
什么是hive的高级分组聚合，它的用法和注意事项以及性能分析
鲁边的博客
06-29 1259
使用高级分组聚合不仅可以简化SQL语句，而且通常情况下会提升SQL语句的性能。
hive中grouping sets的使用
weixin_34343000的博客
05-09 433
hive中grouping sets 数量较多时如何处理?    可以使用如下设置来 set hive.new.job.grouping.set.cardinality = 30; 这条设置的意义在于告知解释器，group by之前，每条数据复制量在30份以内。   grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。   demo： ...
Hive之Grouping Sets函数
热门推荐
数据小白的进阶之路
03-17 3万+
最近在看一些关于Hive优化的东西，看到一个很好用的函数：Grouping Sets函数，今天就先总结一下关于这个函数的用法！ 在一个GROUP BY 查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果进行UNION ALL操作。GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个HIVE SQL语句中的便利写法。GROUPING SETS会把在...
hive通过grouping sets多维度组合去重统计避免使用distinct
fuyun6363的博客
02-23 3385
在hive中，如果遇到多维度组合统计，并且要进行去重统计，例如统计不同维度组合的访问用户数，比如统计运营商、手机品牌、网络类型的用户数，怎样避免不用ditinct（因为distinct效率低），并且grouping__id和以前维度组合保持一致呢？ select * from temp.temp_active_user_info t limit 10; 实现方法一：通过grouping set...
GROUPING SETS（阿里大数据用法）
m0_37845836的博客
05-14 1275
对于经常需要对数据进行多维度的聚合分析的场景，您既需要对a列做聚合，也要对b列做聚合，同时要按照a、b两列同时做聚合，因此需要多次使用UNION ALL。使用GROUPING SETS可以快速解决此类问题。 MaxCompute中的GROUPING SETS是对SELECT语句中GROUP BY子句的扩展，允许您采用多种方式对结果分组，而不必使用多个SELECT语句来实现这一目的。这样能够使MaxCompute的引擎给出更有效的执行计划，从而提高执行性能。 说明本文中大部分示例采用MaxCompute.
Hive.GROUPING SETS的“陷阱”
辰采星
04-06 8662
HQL查询中，对GROUPING SETS出来的数据与其它数据进行连接操作时，需要小心处理数据过滤的问题。而且，需要注意的还有，grouping__id这个函数的返回值不是整型，是字符串。
浅谈hive之grouping sets 使用技巧
qq_43801878的博客
07-17 3557
浅谈grouping sets 使用及特点，最近工作中因业务需求，需提供多维度自定义联动，结合之前对with_cubes 的使用及思考记录相关内容。 grouping sets 使用注意点 一 : group by 中字段才能组合，建议算法中除表关联，关联条件外，其它部分去除别名，避免grouping sets 使用中识别失败。 二 ：使用中，如遇到grouping sets 涉及字段，需要在插入中再做函数如：count(case when 条件 then a end) 情况时，会导致字段a在group.
hive中groupby优化_关于Hive优化的四种方法总结
weixin_32154667的博客
12-27 2251
一、整体架构优化现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统. 整体架构优化点：1、根据不同业务需求进行日期分区，并执行类型动态分区。 相关参数设置： 0.14中默认hive.exec.dynamic.partition=ture2、为了减少磁盘存储空间以及I/O次数，对数据进行压缩相关参数...
Hive中with cube、with rollup、grouping sets用法
Hello Word
12-09 1万+
利用with cube、with rollup、grouping sets等进行分组查询
【hive】hive的调优经验
Mrerlou的博客
05-27 1121
本文已参与「新人创作礼」活动，一起开启掘金创作之路。 一、hive自己进行优化 对union这样的命令进行了优化 二、数据本地化率 hdfs数据本地化率对hive性能产生影响 在数据大小一定的情况下，500个128M的文件和2个30G的文件 跑hive任务，性能是有差异的，两者最大的区别在于，后者在读取文件时，需要跨网络传输，而前者为本地读写。数据本地化率问题。 三、数据格式 hive提供text，sequenceFile，RCFile，ORC，Parquest等格式。 sequenceFile是一个二
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型大数据攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值