hivesql和sparksql 关于cube中Grouping__ID的推理

最新推荐文章于 2025-02-05 16:03:30 发布

置顶科学的N次方

最新推荐文章于 2025-02-05 16:03:30 发布

阅读量667

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系文章标签：大数据

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/124711588

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了HiveSQL和SparkSQL在使用cube操作时，Grouping__ID的不同推理规则。在SparkSQL中，Grouping__ID按照group by字段从高到低，出现为0，未出现为1；而在HiveSQL中，规则相反，从低到高，出现为1，未出现为0。举例说明了各种组合下的Grouping__ID值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 、sparksql中Grouping__ID的推理：

select city_id,user_id,pas_id,Grouping__ID
from dwd_xx_ord_di 
group by city_id,user_id,pas_id
grouping sets((city_id,user_id),(city_id

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

科学的N次方

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

sparksql关于grouping()函数在多维cube聚合的应用

科学的N次方

07-15

816

在sparksq下，也可以使用grouping(xx)来组合多维cube的维度组合。

hive中cube, grouping sets, grouping__id应用

Brad_Q1的博客

07-16

1130

hive 中grouping sets, grouping__id以及cube的具体应用及案例

参与评论您还未登录，请先登录后发表或查看评论

【spark】spark sql中grouping sets新增纬度怎么使得分组id不改变

fuyun6363的博客

03-17

1811

最近在项目中用spark sql做离线开发遇到许多纬度组合去重统计的需求，第一想法就是用grouping sets进行纬度组合，grouping_id()做为分组id实现需求。 spark sql的grouping sets和hive的区别主要在于分组id计算方式不一样： spark sql中用grouping_id()获取分组id，而hive通过grouping__id(两个_)获取分组id spark sql分组id是纬度被选中则为0，没被选中则为1，而hive则刚好相反，选中为1，没被选中为0 举例

grouping__id grouping sets在hive和spark中执行的区别

ganghaodream的博客

04-18

2381

一、hive中的grouping__id的数字规则（取反有则为1无则为0）如 select a,b,c,grouping__id from test group by a,b,c grouping sets ((ab),(ac),(abc)) 规则：根据group by 字段，从低到高，group sets中出现的字段是1没出现是0 如（a,b）对应 011 （a,c）对应 101 二、spark中的grouping__id()的数字规则（有则为0无则为1）如 select a,b,c,gr..

sparksql中grouping sets的使用方法

weixin_43597208的博客

02-28

1771

关于grouping sets的使用，通俗的说，grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法，等价与多个group by 的语句union all 的结果。注意事项， grouping__id，spark sql分组id是纬度被选中则为0，没被选中则为1，而hive则刚好相反，选中为1，没被选中为0。上述sql,我不关心grouping__id，我的需求是有些维度取不到时，用ALL代替，如何处理？

标识分组的函数:group_id(),grouping(),grouping_id()

滴水石穿

07-29

1253

Hive中数据Grouping_set和GROUPING__ID的关系整理

Yuli_li的专栏

03-22

2490

select "11+++++++++++++++++++++++++++++++++商品点击各维度聚合表++++++++++++++++++++++++++++++++h_temp_goods_hit_grouping"; select "------ 127 27941970 goods_id,create_month "; select "------ 191 13887202 goods_id,create_quarter "; select "------ .

HiveSQL或SparkSQl中group by与grouping sets、with cube和with rollup用法演示

lquarius的博客

09-04

1281

GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL 数据准备：建表语句： create table tmp.gb( a string, b string, c int )row format delimited fields terminated by '\t' stored as textfile; 案例数据： 1 1 1 2 1 2 2 2 2 2 2 3 2 1 2 1 2 2 使用案例：第一种组合： select

HIVE中grouping__id使用场景

jiantianming2的博客

01-28

6834

grouping__id值的计算方式例子： step01：数据准备如下 create table temp.temp_xw_20180127 as select '2018-01' as dt_month, null as type, 12 total union all select '2018-01' as dt_month, '收入' as type, 100 tot

GROUPING__ID函数在Spark SQL与Hive中返回差异对比

最新发布

Sword_Zhao的博客

02-05

772

由上面两个测试结果可以确定，hive和spark的0、1判断逻辑相同，都是当字段在set中存在为0，不存在为1。不同的是spark会调整字段顺序，将不在set中出现的字段全部放到最后，按照新的逻辑判断后返回grouping__id的值，而hive则是完全按照group by的顺序来判断字段是否出现。

【Hive】grouping sets 中的Grouping__ID过滤不起作用

一往无前

09-06

683

SELECT key, value, GROUPING__ID, count(*) FROM T1 GROUP BY key, value GROUPING SETS ((), (key)) HAVING GROUPING__ID = 1 这个sql语句中Grouping__ID过滤不起作用，没有结果返回。下面是官方的解答：问题描述：Filter on Grouping__ID does not work properly 类型:Bug 受影响的版本:1.3.0,2.0.0 修复的版本:1.3...

oracle中grouping和grouping_id

lwl_angel的专栏

06-08

1775

1、grouping使用 使用grouping可以判断该行是数据库中本来的行，还是有统计产生的行 SQL> select grouping(grade),grade,sum(num) from a group by rollup (grade); GROUPING(GRADE) GRADE SUM(NUM) --------------- ----- ---------- 0 a 3<br

如何使用grouping__id得到多维统计结果

weixin_43451620的博客

07-08

450

使用hive、spark进行多维统计分析

Grouping__ID 在不同版本中的使用方法不一样

吟啸徐行

02-14

1626

GROUPING SETS clause Grouping__ID function Grouping__ID function (before Hive 2.3.0) Hive2.3版本之后 Grouping__ID function When aggregates are displayed for a column its value is null. This may confli...

spark sql 的应用实践

一只刚刚上路的猿

02-08

1823

背景介绍目前spark主要应用在streaming、ETL和ML场景上，本文主要是分享我们ETL场景从hive SQL到spark SQL的迁移实践。在整个迁移过程中我们把线上多个版本的spark(1.5.2，1.6.3)统一推动升级到2.1.1，同时从Standalone运行模式迁移到了On YARN模式，以减少我们的维护成本。在安全控制上我们参考hive的权限系统开发了统一的权限验证模

oracle统计sql的使用之grouping_id

石羊博客专栏

07-07

2139

一、先看sql示例 select u.group_num,u.area_name,--grouping(u.area_name), sum(decode(u.bm,'联想（Lenovo）A396',u.count,0)) aount1, sum(decode(u.bm,'中兴（ZTE）V5s',u.count,0)) aount2 from ( select t5.group

Spark SQL Catalyst源码分析之SqlParser