hive 高级分组聚合(grouping sets cube和rollup)

原创

已于 2022-07-31 17:23:36 修改 · 870 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #sql #大数据 #数据仓库 #hive

于 2022-07-31 10:15:54 首次发布

本文介绍了Hive中的高级分组聚合操作，包括Grouping Sets、Cube和Rollup。通过实例展示了它们如何简化SQL语句，分别等价于不同的分组组合，并讨论了使用这些功能可能带来的优化和潜在问题，如数据膨胀。

1.grouping sets

1.1

select a, b sum(c) from tbl group by a,b grouping sets((a,b))

相当于 select a,b,sum(c) from tbl group by a,b

1.2

select a,b,sum(c) from tbl group by a,b grouping sets((a,b),a)

相当于

select a,b,sum(c) from tbl group by a,b

union

select a,null ,sum(c) from tbl group by a

1.3

select a,b,sum(c) from tbl group by a,b grouping sets(a,b)

相当于

select a,null,sum(c) from tbl group by a

union

select null ,b,sum(c) from tbl group by b

1.4

select a,b,sum(c) from tbl group by a,b grouping sets((a,b),a,b,())

相当于

select a,b,sum(c) from tbl group by a,b

union

select a,null,sum(c) from tbl group by a

union

select null,b,sum(c) from tbl group by b

union

select null,null,sum(c) from tbl

2.cube 会计算所有group by 列的所有组合

select a,b,c,count(1) from tbl group by a,b,c with cub

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大数据队长

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hive 高级分组聚合：用法、注意事项和性能分析

2301_79713933的博客

09-12

198

Hive 高级分组聚合：用法、注意事项和性能分析Hive 是一个基于 Hadoop 的数据仓库工具，它提供了类似于 SQL 的查询语言，用于处理大规模数据集。在 Hive 中，高级分组聚合是一种强大的功能，它允许用户根据指定的条件对数据进行分组，并对每个分组执行聚合操作。本文将介绍 Hive 中高级分组聚合的用法、注意事项以及性能分析。

万字长文详解Hive聚合函数 grouping sets、cube、rollup原理、语法、案例和优化

大模型大数据攻城狮的专栏

11-03

1050

这种灵活性使得GROUPING SETS在处理特定维度组合时更为高效。在性能方面，由于CUBE需要计算所有可能的维度组合，因此在处理大型数据集时可能会面临更高的计算开销。GROUPING SETS通过只计算指定的维度组合，通常能够提供更好的查询响应速度。另一个值得注意的区别是NULL值的处理。CUBE会。

参与评论您还未登录，请先登录后发表或查看评论

Hive中的group set() 多维分析

好好学习天天向上

05-18

2473

文章目录grouping set() 多维分析 grouping set() 多维分析将不同维度的GROUP BY结果进行UNION ALL操作。 UNION: A ∪ B 会自动去重 UNION ALL： A ∪ B 不会去重，显示所有 SELECT a,b,SUM(c) FROM table GROUP BY a,b GROUPING SETS((a,b),a,b,()) SELECT a,b,SUM(c) FROM table GROUP BY GROUPING SETS((a,b),a,b,

Hive之grouping sets用法详解

热门推荐

weixin_43597208的博客

08-20

1万+

比如(class, course), 二进制为 101，十进制则为5，则grouping__id为5，同理grouping__id为6，则组合为（sex,course），二进制为110；比如 group by class,sex,course,则二进制的顺序为：course sex class ,grouping sets字段出现则为1，反之则为0，关于grouping sets的使用，通俗的说，grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。

hive分组与聚合

m0_75280426的博客

05-07

599

分组是将具有相同属性的数据分为一组的操作。在Hive中，分组操作可以基于单个字段或多个字段进行。在Hive中，聚合函数是用于对一组数值进行计算的函数，它们可以对一列数据进行求和、计数、平均值、最大值、最小值等操作。常见的聚合函数包括SUM、COUNT、AVG、MAX、MIN等。

Hive优化--分组聚合

yyGeek的博客

03-07

431

hive优化，分组聚合

[Hive学习]聚合增强函数解析：grouping sets、cube、rollup、grouping判断

alie_123的博客

12-13

1978

本文介绍了hive聚合增强函数：grouping sets、cube、rollup、grouping判断的使用方法及注意细节。

HIVE多维分析函数：grouping sets、cube、rollup

weixin_46429290的博客

08-29

3865

这里with cube就等同于grouping sets ((department,name,age),(department,name),(department,age),(department),(name,age),(name),(age),())HIVE的多维分析函数，配合group by 使用，通常的group by只能对单维度的字段进行分析聚合操作，如果想要获取不同组合字段的聚合操作，就需要写多个group by 组合，HIVE提供了内置的函数用于上述这种多维分析。...

hive学习之grouping set /cube/rollup

cclovezbf的博客

09-05

1233

就是在我们根据多个维度分组的时候，例如group by a,b,c,d 有时候我们也需要这几个维度中部分维度的聚合值例如group by a,b。这个时候通过group by a,b,c,d grouping sets((a,b,c,d),(a,b))即可，看起来简洁，使用方便。a=1，b=null ，sum(c)=1 这个到底是根据a 分的组 b默认是null ，还是根据ab 分组，a=1 b=null。需求2，同时算出需求1也就是根据a，b分组的sum(c)，和根据a分组后的sum(c)

HIVE grouping sets分组聚合

weixin_43178315的博客

09-03

686

hive grouping sets分组聚合

高级分组聚合cube,rollup

qbm123456789的博客

07-17

247

select a,b,sum(c) from table group by a,b with cube; select a,b,sum(c) from table group by a,b with rollup; cube,rollup两者都可以在一个group by语句中完成多个分组聚合，它们都可以用grouping sets来表达。 cube会计算group by中指定列的所有组合 rollup会按照group by 指定的列从左到右进行下转 ()会下转到a,用（null,a）表示，简化表示

Hive---分组聚合函数，窗口函数

Hi_this_is_ID的博客

10-21

3999

一、分组聚合函数（group by）用到的表是t_access: 有group by 那个group by 会在select、update、alter等等之前运行 1、把数据中的日期整合并显示数目，寻找最大的ip select dt,count(*),max(ip) as cnt from school.t_access group by dt; 结果图： 2、查询在数据...

hive 分组topN

qq_38250124的博客

05-15

426

select id,sex,age,hobby from t1 group by sex order by agerow_number() over (partition by sex order by age asc) as od;select * from t_tmp where od>3row_number为hive内置函数，partition 按哪一组分...

大数据之Hive的聚合、排序和分组

代妈炼金术师

01-04

820

此外，Hive还提供了窗口函数来进行复杂的排序和分析任务，比如基于相邻行或某个窗口内的数据进行排序和聚合。子句与聚合函数配合使用，将数据集按照指定列进行分组，然后对每个组执行聚合操作。窗口函数可以在一组相关行（即窗口）上执行计算，而不必将数据分为多个独立的组。用于计算一组值的汇总统计量。子句用于对查询结果进行排序。

Hive 查询之分组

ITBOY_ITBOX博客

05-04

6585

Group By语句 GROUP BY语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。案例实操：（1）计算emp表每个部门的平均工资 hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by t.dep...

Hive 按区间条件分组统计

zhang_MyApple的博客

12-15

2188

【代码】Hive 按区间条件分组统计。

什么是hive的高级分组聚合，它的用法和注意事项以及性能分析

鲁边的博客

06-29

1322

使用高级分组聚合不仅可以简化SQL语句，而且通常情况下会提升SQL语句的性能。

Hive内部函数之聚合函数和分组函数

csp75739的博客

06-21

1090

1. 常用的聚合函数： max 最大值 min 最小值 count 总数 sum 和 avg ...

【大数据之Hive】十二、Hive-HQL查询之分组、join、排序

阿宁的博客

06-15

2254

group by 通常和聚合函数一起使用，按照一个或多个列的结果进行分组，任何对每个租执行聚合操作。用group by时，select中只能用在group by中的字段和聚合函数。

HIVE的grouping sets