hive 高级分组聚合(grouping sets cube和rollup)

大数据队长

已于 2022-07-31 17:23:36 修改

阅读量848

点赞数

分类专栏： hive sql 优化方案文章标签：数据库 sql 大数据数据仓库 hive

于 2022-07-31 10:15:54 首次发布

本文链接：https://blog.youkuaiyun.com/data_man_online/article/details/126082377

版权

本文介绍了Hive中的高级分组聚合操作，包括Grouping Sets、Cube和Rollup。通过实例展示了它们如何简化SQL语句，分别等价于不同的分组组合，并讨论了使用这些功能可能带来的优化和潜在问题，如数据膨胀。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.grouping sets

1.1

select a, b sum(c) from tbl group by a,b grouping sets((a,b))

相当于 select a,b,sum(c) from tbl group by a,b

1.2

select a,b,sum(c) from tbl group by a,b grouping sets((a,b),a)

相当于

select a,b,sum(c) from tbl group by a,b

union

select a,null ,sum(c) from tbl group by a

1.3

select a,b,sum(c) from tbl group by a,b grouping sets(a,b)

相当于

select a,null,sum(c) from tbl group by a

union

select null ,b,sum(c) from tbl group by b

1.4

select a,b,sum(c) from tbl group by a,b grouping sets((a,b),a,b,())

相当于

select a,b,sum(c) from tbl group by a,b

union

select a,null,sum(c) from tbl group by a

union

select null,b,sum(c) from tbl group by b

union

select null,null,sum(c) from tbl

2.cube 会计算所有group by 列的所有组合

select a,b,c,count(1) from tbl group by a,b,c with cub

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大数据队长

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

万字长文详解Hive聚合函数 grouping sets、cube、rollup原理、语法、案例和优化

大模型大数据攻城狮的专栏

11-03

842

这种灵活性使得GROUPING SETS在处理特定维度组合时更为高效。在性能方面，由于CUBE需要计算所有可能的维度组合，因此在处理大型数据集时可能会面临更高的计算开销。GROUPING SETS通过只计算指定的维度组合，通常能够提供更好的查询响应速度。另一个值得注意的区别是NULL值的处理。CUBE会。

Hive多维分析函数——With cube、Grouping sets、With rollup

爱吃辣条的博客

07-28

1218

Hive多维分析函数——With cube、Grouping sets、With rollup

参与评论您还未登录，请先登录后发表或查看评论

Hive---分组聚合函数，窗口函数

Hi_this_is_ID的博客

10-21

3961

一、分组聚合函数（group by）用到的表是t_access: 有group by 那个group by 会在select、update、alter等等之前运行 1、把数据中的日期整合并显示数目，寻找最大的ip select dt,count(*),max(ip) as cnt from school.t_access group by dt; 结果图： 2、查询在数据...

hive分组与聚合

m0_75280426的博客

05-07

449

分组是将具有相同属性的数据分为一组的操作。在Hive中，分组操作可以基于单个字段或多个字段进行。在Hive中，聚合函数是用于对一组数值进行计算的函数，它们可以对一列数据进行求和、计数、平均值、最大值、最小值等操作。常见的聚合函数包括SUM、COUNT、AVG、MAX、MIN等。

SQL 语言基础：分组集（Grouping Sets）、CUBE 和 ROLLUP

最新发布

梓芮

03-31

445

在 SQL Server 中，分组集（Grouping Sets）、CUBE 和 ROLLUP 是用于生成报表和数据仓库处理的强大工具。它们允许你在一个查询中定义多个分组集，从而简化复杂的聚合查询。SQL Server 中的分组集（Grouping Sets）、CUBE 和 ROLLUP 提供了强大的数据分组和聚合功能，适用于生成报表和数据仓库处理。通过这些功能，可以在一个查询中定义多个分组集，从而简化复杂的聚合查询，并使用 GROUPING 和 GROUPING_ID 函数准确标识结果行和分组集的关联。

Hive优化--分组聚合

yyGeek的博客

03-07

398

hive优化，分组聚合

HIVE grouping sets分组聚合

weixin_43178315的博客

09-03

669

hive grouping sets分组聚合

高级分组聚合cube,rollup

qbm123456789的博客

07-17

237

select a,b,sum(c) from table group by a,b with cube; select a,b,sum(c) from table group by a,b with rollup; cube,rollup两者都可以在一个group by语句中完成多个分组聚合，它们都可以用grouping sets来表达。 cube会计算group by中指定列的所有组合 rollup会按照group by 指定的列从左到右进行下转 ()会下转到a,用（null,a）表示，简化表示

[Hive学习]聚合增强函数解析：grouping sets、cube、rollup、grouping判断

alie_123的博客

12-13

1909

本文介绍了hive聚合增强函数：grouping sets、cube、rollup、grouping判断的使用方法及注意细节。

【Hive】多维函数『grouping sets() | with cube | with rollup 』

渐渐的忘记，赶不上明天（读研ing，2024年毕业）

12-12

5140

1. 语法 2. 例子

hive 分组topN

qq_38250124的博客

05-15

410

select id,sex,age,hobby from t1 group by sex order by agerow_number() over (partition by sex order by age asc) as od;select * from t_tmp where od>3row_number为hive内置函数，partition 按哪一组分...

Hive 高级分组聚合：用法、注意事项和性能分析

2301_79713933的博客

09-12

167

Hive 高级分组聚合：用法、注意事项和性能分析Hive 是一个基于 Hadoop 的数据仓库工具，它提供了类似于 SQL 的查询语言，用于处理大规模数据集。在 Hive 中，高级分组聚合是一种强大的功能，它允许用户根据指定的条件对数据进行分组，并对每个分组执行聚合操作。本文将介绍 Hive 中高级分组聚合的用法、注意事项以及性能分析。

大数据之Hive的聚合、排序和分组

代妈炼金术师

01-04

757

此外，Hive还提供了窗口函数来进行复杂的排序和分析任务，比如基于相邻行或某个窗口内的数据进行排序和聚合。子句与聚合函数配合使用，将数据集按照指定列进行分组，然后对每个组执行聚合操作。窗口函数可以在一组相关行（即窗口）上执行计算，而不必将数据分为多个独立的组。用于计算一组值的汇总统计量。子句用于对查询结果进行排序。

Hive 按区间条件分组统计

zhang_MyApple的博客

12-15

2074

【代码】Hive 按区间条件分组统计。

什么是hive的高级分组聚合，它的用法和注意事项以及性能分析

鲁边的博客

06-29

1262

使用高级分组聚合不仅可以简化SQL语句，而且通常情况下会提升SQL语句的性能。

Hive内部函数之聚合函数和分组函数

csp75739的博客

06-21

1060

1. 常用的聚合函数： max 最大值 min 最小值 count 总数 sum 和 avg ...

【大数据之Hive】十二、Hive-HQL查询之分组、join、排序

阿宁的博客

06-15

2023

group by 通常和聚合函数一起使用，按照一个或多个列的结果进行分组，任何对每个租执行聚合操作。用group by时，select中只能用在group by中的字段和聚合函数。

关于Hive sql里面的分组函数

Jae的博客

04-14

1923

列转行通过collect_set函数实现，发现对字段进行去重了，后来发现collect_list函数可以实现，现总结如下： concat_ws和collect_set()函数实现（对某列进行去重）其作用是将多行某些列的多行进行去重合并，并通过；符号进行连接，代码如下； concat_ws和collect_list()函数实现（对某列不进行去重）同时hivesql 中序号可用select ...

Hadoop入门——Hive数据排序与聚合操作

pxy39的博客

05-27

998

Hive数据排序与聚合操作

hive里 grouping sets用法

03-19

### Hive 中 Grouping Sets 的用法 #### 基本概念 Grouping Sets 是一种在 Hive 查询中简化多维分组操作的功能。通过使用 `GROUPING SETS`，可以在一条 SQL 语句中实现多个不同维度的聚合逻辑，从而减少多次执行查询的需求[^1]。 #### 语法结构以下是 `GROUPING SETS` 的基本语法： ```sql SELECT column_list, aggregate_function(column) FROM table_name GROUP BY GROUPING SETS ( (column_set_1), (column_set_2), ... ); ``` 其中： - `column_list`: 需要展示的结果列。 - `aggregate_function`: 聚合函数（如 `SUM`, `AVG`, `COUNT` 等）。 - `(column_set_n)`: 表示一组或多组需要进行分组的列集合。 #### 示例解析假设有一个表名为 `tableName`，其字段包括 `class`（班级）、`sex`（性别）、`course`（课程）以及 `score`（分数）。我们希望按不同的维度组合来统计平均成绩。创建临时表存储结果数据： ```sql CREATE TABLE temp.score_grouping AS SELECT grouping__id, class, sex, course, AVG(score) AS avg_score FROM tableName GROUP BY class, sex, course GROUPING SETS ( (class, course), (class, sex), (sex, course), (course) ); ``` 上述代码实现了以下几种分组方式： - 按照 `class` 和 `course` 组合分组； - 按照 `class` 和 `sex` 组合分组； - 按照 `sex` 和 `course` 组合分组； - 单独按照 `course` 分组；最终结果可以通过查看 `temp.score_grouping` 表获得。对于某些未参与特定分组的字段，在对应记录中会显示为 NULL 值[^3]。 #### 特殊字段 `grouping__id` 当使用 `GROUPING SETS` 时，Hive 自动生成了一个特殊字段 `grouping__id` 来表示当前行属于哪个具体的分组设置。该值是一个整数编码形式，能够帮助区分每条记录来源于哪种分组模式。例如过滤部分类型的分组结果： ```sql SELECT * FROM temp.score_grouping WHERE grouping__id IN ('2', '6'); ``` 此命令仅返回那些满足条件编号下的汇总信息。 #### 扩展功能除了 `GROUPING SETS` 外，Hive 提供了其他类似的高级聚合工具，比如 CUBE 和 ROLLUP，它们分别代表全排列交叉分组与逐层累加式的层次化分组[^2]。 ---