Hive多维分析函数——With cube、Grouping sets、With rollup

已于 2024-07-28 23:43:29 修改
阅读量1.1k 收藏 4
点赞数 3
分类专栏： # Hive 文章标签： 大数据
于 2024-07-28 22:09:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SHWAITME/article/details/140757348
版权

有些指标涉及【多维度】的聚合，大的汇总维度，小的明细维度，需要精细化的下钻。

  • grouping sets： 多维度组合，组合维度自定义；
  • with cube： 多维度组合，程序自由组合，组合为各个维度的笛卡尔积；
  • with rollup：是 with cube的子集，以左侧维度为主，即不允许左侧为NULL，右侧为非NULL的情况出现

一、grouping sets

 0 数据准备

with test1 as
     (select '2021-08' as month_date,'2021-08-11' as day_date,10 a
了解本专栏 订阅专栏 解锁全文 超级会员免费看
万字长文详解Hive聚合函数 grouping sets、cube、rollup原理、语法、案例和优化
大模型大数据攻城狮的专栏
11-03 824
这种灵活性使得GROUPING SETS在处理特定维度组合时更为高效。在性能方面，由于CUBE需要计算所有可能的维度组合，因此在处理大型数据集时可能会面临更高的计算开销。GROUPING SETS通过只计算指定的维度组合，通常能够提供更好的查询响应速度。另一个值得注意的区别是NULL值的处理。CUBE会。
【Hive】多维函数 『grouping sets() | with cube | with rollup 』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-12 5116
1. 语法 2. 例子
SQL 关于with cube ，with rollup 和 grouping
m0_37309161的博客
06-08 251
SQL 关于with cube ，with rollup 和 grouping
SQL中with cube,with rollup和grouping set 高阶聚合函数的理解和使用
weixin_45896475的博客
02-04 4991
数据 name course score 小红,sql,85 小红,c#,90 小明,sql,93 小明,c#,82 小李,sql,88 小李,c#,0 建表 create table s( name string, course string, score int )row format delimited fields terminated by ','; load data local i...
mysql with cube_SQL Server GROUP BY中的WITH CUBE、WITH ROLLUP原理测试及GROUPING应用
weixin_39974557的博客
02-27 521
前几天，看到一个群友用WITH ROLLUP运算符。由于自个儿没用过，看到概念及结果都云里雾里的，所以突然来了兴趣对生成结果测了一番。一、概念：WITH CUBE：生成的结果集显示了所选列中值的所有组合的聚合。WITH ROLLUP：生成的结果集显示了所选列中值的某一层次结构的聚合。GROUPING：当行由 WITH CUBE或WITH ROLLUP运算符添加时，该函数将导致附加列的输出值为 1；...
grouping sets和with cube以及array+explode做多维度聚合统计
m0_70949976的博客
11-16 272
1、如果汇总维度低于3个，且需要定制化，则用grouping sets，如果超过3个，则用array+explode 2、如果汇总维度低于3个，且无需定制化，则用with cube，如果超过3个，则用array+explode
hive中的高阶函数:with cube函数,Grouping sets函数,With rollup函数
Fresh_man888的博客
12-19 3942
1.应用背景: 实际生产中，各种指标的报表统计，往往都会涉及到多维分析,比如，统计日活数，日会话次数，日回头访客数，日新，日用户平均访问时长，访问深度……都需要从不同维度,各种角度去分析,如果上述维度分析需求，都逐个开发计算sql（逐个去group by聚合），工作繁冗！ 那么，如何解决这个问题呢？ 2.实现过程: 2.1 关键要点: 创建一个统一的目标维度分析聚合结果表，这个表应该包含所有的维度字段 利用hive的高阶聚合函数，在一个sql中，即可计算出所有可能的维度组合 2.2 C..
使用with cube 、 with rollup 或者grouping sets来实现cube
少年阿宏
09-27 1136
0、hive一般分为基本聚合和高级聚合，而基本聚合就是常见的group by，而高级聚合就是grouping set、cube、rollup等。一般group by与hive内置的聚合函数max、min、count、sum、avg等搭配使用。 1、grouping sets可以实现对同一个数据集的多重group by操作。事实上grouping sets是多个group by进行union alll操作的结合，它仅使用一个stage完成这些操作。grouping sets的子句中如果包换()数据集，则表示.
(转) Hive中with cube、with rollup、grouping sets用法
dengguawei0519的博客
07-06 374
表结构 CREATE TABLE test (f1 string, f2 string, f3 string, cnt int) ROW FORMAT delimited FIELDS TERMINATE...
Hive中with cube、with rollup、grouping sets用法
热门推荐
小小良
11-04 1万+
表结构 CREATE TABLE test (f1 string, f2 string, f3 string, cnt int) ROW FORMAT delimited FIELDS TERMINATED BY '\t' stored AS textfile; L...
HIVE with rollup、with cube、grouping sets的区别及字段中存在空值或字段不参与分组时区分方法grouping及 grouping__id计算方法
qq_43118086的博客
05-10 1120
1、with rollup select TO_CHAR(create_time,'yyyymmdd') date ,platform ,sign_channel ,count(*) cnt from sign_table group by TO_CHAR(create_time,'yyyymmdd') ,platform ,sign_channel with rollup ; 程序会以日期为基准逐步下卷，结果如下 ![在这里插入图片描述](https://img-blog.csdnimg.cn/
hive分组拓展函数（grouping sets、with cube、rollup）
qq_41725214的博客
07-04 423
（可以自定义，比如A,B,C，可以自己定义(A),(A,C),(B,C),(A,B,C)等等）
Hive多维度分析MOLAP
流风雨情的博客
06-02 1517
SELECT t.type, t.status, count(1), grouping__id FROM ods_callcenter.sdm_call t WHERE dt = '20200601' GROUP BY t.type, t.status WITH CUBE --WITH ROLLUP --GROUPING SETS(t.status,t.type,(t.status,t.type))
hive grouping sets、with cube和with rollup的区别（详细分析，建议收藏）
程老师的博客
08-12 1613
对于互联网公司报表需求中，有很多多维度的组合，大的汇总维度、小的明细维度，精细化的下钻。这样的背景下，我们很多的指标都要进行多维度的聚合。 grouping sets： 多维度组合，组合维度自定义 with cube： 多维度组合，程序自由组合，组合为各个维度的笛卡尔积 with rollup： with cube的子集，以左侧维度为主，即不允许左侧为NULL，右侧为非NULL的情况出现 我们来几个案例： with cube： spark-sql> with test1 as &gt
本文一次性说清HIVE的with cube & with rollup & grouping sets用法
weixin_45857425的博客
06-04 652
表结构 CREATE TABLE test (f1 string, f2 string, f3 string, cnt int) ROW FORMAT delimited FIELDS TERMINATED BY '\t' stored AS textfile; LOAD DATA LOCAL inpath '/data/logs/suiyingli/tmp/test.data'...
浅谈with cube与with rollup之区别
duoerbasilu
06-13 606
最近这段时间一直在看SQLServer视频，虽然了解了SQLServer运行环境、语言基础和设计基础，但还没有真正的转化为自己的知识。一方面，是刚接触数据库，另一方面，就是自己只是看视频、记笔记，没有去思考和总结。下面是我对groupby字句中withcube和withrollup的总结： 当需要对数据库数据进行分类统计的时候，往往会用上groupby进行分组。而在groupby后面...
hive的多维度分析函数with cube和grouping__id的理解
ZH519080的博客
04-15 2662
hive的多维度分析函数with cube和grouping__id的理解
SQL—解决多维度随机组合查询场景：grouping sets函数
weixin_46010244的博客
08-02 4378
通过grouping sets函数，极大提高我们的开发效率，即使有更多维度组合的增加，只需要在grouping sets函数中新增即可，当然案例中姓名不具有实质性分组聚合意义，数据的展示问题需要做进一步处理，但相较于大量的union，grouping sets函数已经可以极大的对代码进行调优。
hive grouping sets函数怎么用
最新发布
01-04
在 Hive SQL 查询中，`GROUPING SETS` 提供了一种简洁的方式来执行多维分组聚合。这使得可以在单个查询中指定多个不同的组合来进行数据汇总。 创建表并插入测试数据： ```sql CREATE TABLE IF NOT EXISTS student_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值