hivesql和sparksql 关于cube中Grouping__ID的推理

最新推荐文章于 2025-02-05 16:03:30 发布

置顶科学的N次方

最新推荐文章于 2025-02-05 16:03:30 发布

阅读量701

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系文章标签：大数据

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/124711588

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了HiveSQL和SparkSQL在使用cube操作时，Grouping__ID的不同推理规则。在SparkSQL中，Grouping__ID按照group by字段从高到低，出现为0，未出现为1；而在HiveSQL中，规则相反，从低到高，出现为1，未出现为0。举例说明了各种组合下的Grouping__ID值。

1 、sparksql中Grouping__ID的推理：

select city_id,user_id,pas_id,Grouping__ID
from dwd_xx_ord_di 
group by city_id,user_id,pas_id
grouping sets((city_id,user_id),(city_id

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

科学的N次方

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

sparksql关于grouping()函数在多维cube聚合的应用

科学的N次方

07-15

861

在sparksq下，也可以使用grouping(xx)来组合多维cube的维度组合。

【spark】spark sql中grouping sets新增纬度怎么使得分组id不改变

fuyun6363的博客

03-17

1987

最近在项目中用spark sql做离线开发遇到许多纬度组合去重统计的需求，第一想法就是用grouping sets进行纬度组合，grouping_id()做为分组id实现需求。 spark sql的grouping sets和hive的区别主要在于分组id计算方式不一样： spark sql中用grouping_id()获取分组id，而hive通过grouping__id(两个_)获取分组id spark sql分组id是纬度被选中则为0，没被选中则为1，而hive则刚好相反，选中为1，没被选中为0 举例

参与评论您还未登录，请先登录后发表或查看评论

sparksql中grouping sets的使用方法

weixin_43597208的博客

02-28

2009

关于grouping sets的使用，通俗的说，grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法，等价与多个group by 的语句union all 的结果。注意事项， grouping__id，spark sql分组id是纬度被选中则为0，没被选中则为1，而hive则刚好相反，选中为1，没被选中为0。上述sql,我不关心grouping__id，我的需求是有些维度取不到时，用ALL代替，如何处理？

如何使用grouping__id得到多维统计结果

weixin_43451620的博客

07-08

483

使用hive、spark进行多维统计分析

grouping__id grouping sets在hive和spark中执行的区别

ganghaodream的博客

04-18

2528

一、hive中的grouping__id的数字规则（取反有则为1无则为0）如 select a,b,c,grouping__id from test group by a,b,c grouping sets ((ab),(ac),(abc)) 规则：根据group by 字段，从低到高，group sets中出现的字段是1没出现是0 如（a,b）对应 011 （a,c）对应 101 二、spark中的grouping__id()的数字规则（有则为0无则为1）如 select a,b,c,gr..

标识分组的函数:group_id(),grouping(),grouping_id()

滴水石穿

07-29

1302

hive中cube, grouping sets, grouping__id应用

Brad_Q1的博客

07-16

1174

hive 中grouping sets, grouping__id以及cube的具体应用及案例

Hive中数据Grouping_set和GROUPING__ID的关系整理

Yuli_li的专栏

03-22

2529

select "11+++++++++++++++++++++++++++++++++商品点击各维度聚合表++++++++++++++++++++++++++++++++h_temp_goods_hit_grouping"; select "------ 127 27941970 goods_id,create_month "; select "------ 191 13887202 goods_id,create_quarter "; select "------ .

Hive分析窗口函数 GROUPING SETS、GROUPING__ID、CUBE、ROLLUP使用说明和示例

helloxiaozhe的博客

04-16

6130

Hive分析窗口函数 GROUPING SETS、GROUPING__ID、CUBE、ROLLUP使用说明和示例 0、概述 GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL GROUPING__ID：表示结果属于哪一个分组集合，属于虚字段 CUBE：根据GROUP BY的维度的所有组合进行聚合。 ROLLUP：为CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。这几个分析函数通常用于OLAP中，不能累加，而且需要根据不

HiveSQL或SparkSQl中group by与grouping sets、with cube和with rollup用法演示

lquarius的博客

09-04

1334

GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL 数据准备：建表语句： create table tmp.gb( a string, b string, c int )row format delimited fields terminated by '\t' stored as textfile; 案例数据： 1 1 1 2 1 2 2 2 2 2 2 3 2 1 2 1 2 2 使用案例：第一种组合： select

GROUPING__ID函数在Spark SQL与Hive中返回差异对比

Sword_Zhao的博客

02-05

886

由上面两个测试结果可以确定，hive和spark的0、1判断逻辑相同，都是当字段在set中存在为0，不存在为1。不同的是spark会调整字段顺序，将不在set中出现的字段全部放到最后，按照新的逻辑判断后返回grouping__id的值，而hive则是完全按照group by的顺序来判断字段是否出现。

【Hive】grouping sets 中的Grouping__ID过滤不起作用

一往无前

09-06

737

SELECT key, value, GROUPING__ID, count(*) FROM T1 GROUP BY key, value GROUPING SETS ((), (key)) HAVING GROUPING__ID = 1 这个sql语句中Grouping__ID过滤不起作用，没有结果返回。下面是官方的解答：问题描述：Filter on Grouping__ID does not work properly 类型:Bug 受影响的版本:1.3.0,2.0.0 修复的版本:1.3...

oracle中grouping和grouping_id

lwl_angel的专栏

06-08

1805

1、grouping使用 使用grouping可以判断该行是数据库中本来的行，还是有统计产生的行 SQL> select grouping(grade),grade,sum(num) from a group by rollup (grade); GROUPING(GRADE) GRADE SUM(NUM) --------------- ----- ---------- 0 a 3<br

spark场景功能实现

盛源的博客

04-02

1888

1. 字符串累加2 行列转换3 数据填充4 设定变量5 生成id7 lateral view使用1. lateral view级联使用8 分组聚合9 数据透视Spark SQL 的 PIVOT 子句用于数据透视。根据特定的列值获得聚合值，这些值将转换为 SELECT 子句中使用的多个列.10 抽样数据tablesample是对表采样(先采样后过滤), 会导致扫全表;因此, 使用时最好先限定分区和过滤条件获得临时结果表, 再对临时表进行采样;11 选择列12 分析函数13 去重统计。

SparkSQL 中group by、rollup和cube使用

Hello，Sunpro!

08-30

2117

具体内容讲解参考博客：优快云:SparkSQL 中group by、grouping sets、rollup和cube方法详解下面为pyspark的示例：自己瞎编了一个csv，小学期末成绩统计：班级,姓名,课程,成绩 1班,小明,语文,96 1班,小明,数学,99 1班,小明,英语,89 1班,小红,语文,92 1班,小红,数学,86 1班,小红,英语,99 2班,小强,语文,92 2班,...

spark sql uv_Spark Sql OLAP 高阶分析函数总结

weixin_29218509的博客

12-30

231

我们经常困惑在数据挖掘和报表分析场景中sql不会写，或者因为sql太长以至于可读性降低; 今天我为大家总结了一些Spark SQL中的高阶函数，它们将会对你的业务形成助力，百倍提升你的工作效率GROUPING__ID,CUBE,ROLLUP可快速实现多维度自由组合分析查询，主要应用于OLAP钻取分析场景，比如，分小时、天、月的UV数。cubecube函数多用来实现钻取查询将一个group by...

hive、spark、presto 中的增强聚合-grouping sets、rollup、cube

向热爱自己一样，热爱这个世界。

09-19

2274

如何在 hive、spark、presto 中使用增强聚合-grouping sets、rollup、cube

Grouping__ID 在不同版本中的使用方法不一样

吟啸徐行

02-14

1753

GROUPING SETS clause Grouping__ID function Grouping__ID function (before Hive 2.3.0) Hive2.3版本之后 Grouping__ID function When aggregates are displayed for a column its value is null. This may confli...

SparkSQL与Hive语法差异

dreamBoat的博客

05-09

6481

一、相同函数差异二、仅Hive支持三、仅Spark支持四、Parquet表格式相关五、备注一、相同函数差异 1.Spark运行时用到的hash函数，与Hive的哈希算法不同，如果使用hash()，结果和Hive的hash()会有差异解决方案：SparkSQL中将hash()修改为兼容Hive的函数hive_hash() 2.Hive和SparkSQL使用grouping sets生成的GROUPING_ID不一致示例： Hive: Spark：正在...

Spark sql grouping sets 函数的用法 grouping_id