hive group by聚合函数增强

最新推荐文章于 2023-09-19 12:40:50 发布

weixin_30568591

最新推荐文章于 2023-09-19 12:40:50 发布

阅读量634

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/arachis/p/hive_group_by_Enhanced.html

本文深入探讨了SQL中groupingsets、grouping__id、withcube和withrollup等高级分组特性的使用方法及原理，通过实例对比了它们与传统GROUPBY语句的区别，为复杂的数据分析提供了更多灵活的选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.grouping sets

grouping sets子句都可以根据UNION连接的多个GROUP BY查询进行逻辑表示

SELECT a，b，SUM（c）FROM tab1 GROUP BY a，b GROUPING SETS（（a，b），a，b，（））

等价于

SELECT a，b，SUM（c）FROM tab1 GROUP BY a，b
union
SELECT a，null，SUM（c）FROM tab1 GROUP BY a，null
union
SELECT null，b，SUM（c）FROM tab1 GROUP BY null，b
union
SELECT null，null，SUM（c）FROM tab1

2.GROUPING__ID
注意是两个下划线相连,说明聚合结果是属于(grouping sets)哪一个子集的的。

SELECT key, value, GROUPING__ID,count(*)
FROM T1
GROUP BY key, value
GROUPING SETS（（key，value），key，value）
;

等价于

SELECT key, value,1,count(*) -- 属于第1个GROUPING SETS子集,即（key，value）
FROM T1
GROUP BY key, value
union 
SELECT key, NULL,2,count(*) -- 属于第2个GROUPING SETS子集,即key
FROM T1
GROUP BY key
union 
SELECT NULL, value,3,count(*) -- 属于第3个GROUPING SETS子集,即value
FROM T1
GROUP BY value

3.WITH CUBE

CUBE是是group by字段的所有组合

GROUP BY a，b，c WITH CUBE

等同于

GROUP BY a,b,c GROUPING SETS（（a,b,c），（a,b）,（b,c）, （a,c）,（a），（b），（c），（））

4.WITH ROLLUP

ROLLUP子句与GROUP BY一起用于计算维度的层次结构级别的聚合。

GROUP BY a，b，c，WITH ROLLUP

等同于

GROUP BY a，b，c GROUPING SETS（（a，b，c），（a，b），（a），（））

官网文档

转载于:https://www.cnblogs.com/arachis/p/hive_group_by_Enhanced.html