SQL-rollup、cube（hive）

最新推荐文章于 2024-07-28 22:09:44 发布

u:boom

最新推荐文章于 2024-07-28 22:09:44 发布

阅读量337

点赞数

CC 4.0 BY-SA版权

分类专栏： HIVE SQL 文章标签： hive sql

本文链接：https://blog.youkuaiyun.com/newas3/article/details/106854733

本文介绍了Hive中的三种聚合操作：GROUPING SETS、CUBE和ROLLUP。GROUPING SETS用于根据不同的维度组合进行聚合，等价于多个GROUP BY结果的UNION ALL。CUBE则执行所有维度组合的聚合，而ROLLUP是CUBE的子集，从最左侧维度开始逐级聚合，提供了层次化的汇总信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先举个例：

group by WITH ROLLUP

mysql> select dep,pos,avg(sal) from employee group by dep,pos with rollup;  
+------+------+-----------+  
| dep | pos | avg(sal) |  
+------+------+-----------+  
| 01 | 01 | 1500.0000 |  
| 01 | 02 | 1950.0000 |  
| 01 | NULL | 1725.0000 |  
| 02 | 01 | 1500.0000 |  
| 02 | 02 | 2450.0000 |  
| 02 | NULL | 2133.3333 |  
| 03 | 01 | 2500.0000 |  
| 03 | 02 | 2550.0000 |  
| 03 | NULL | 2533.3333 |  
| NULL | NULL | 2090.0000 |

首先会根据dep变量，将原始数据分为三个01,02,03三个组，从数据表上看，第5,6行是一个聚合，group by WITH ROLLUP会在每个分组后面加上本组类的信息，di7行数据就是5,6行数据聚合所执行avg(sal)所得的结果，依次类推，02,03也是一样，同时在最后，会将全部的分组聚合。

Hive：

GROUPING SETS

在一个GROUP BY查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL

SELECT 
month,
day,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID 
FROM lxw1234 
GROUP BY month,day 
GROUPING SETS (month,day) 
ORDER BY GROUPING__ID; 
month      day            uv      GROUPING__ID
------------------------------------------------
2015-03    NULL            5       1 
2015-04    NULL            6       1
NULL       2015-03-10      4       2
NULL       2015-03-12      1       2
NULL       2015-04-12      2       2
NULL       2015-04-13      3       2
NULL       2015-04-15