hive报错 Grouping sets size cannot be greater than 64

最新推荐文章于 2024-05-08 21:10:30 发布
原创 最新推荐文章于 2024-05-08 21:10:30 发布 · 2.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #数据仓库 #sql

文章讨论了Hive在执行SQL时如何将distinct操作优化为groupbygroupingset的方式，特别是当默认的groupingsetcardinality（64）不足时。通过设置hive.new.job.grouping.set.cardinality为128（大于字段数），可以在不使用distinct的情况下，利用子查询中的groupby实现逻辑上的去重，达到优化查询性能的目的。

1.原因：

  1. 使用了distinct，hive在执行SQL前优化改写distinct 为 group by 模式--即将 "所有字段进行group by" = "grouping set(所有字段)"
  2. 默认set hive.new.job.grouping.set.cardinality=64;

2.方法:

  1. set hive.new.job.grouping.set.cardinality=128;(大于字段数）
  2. 不用distinct，改用在子查询中进行group by进行逻辑上的去重

Azoner
关注
数仓工具—Hive语法之grouping sets(5)
01-01 6万+
GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个HIVE SQL语句中的便利写法。 GROUPING SETS会把在单个GROUP BY逻辑中没有参与GROUP BY的那一列置为NULL值，这样聚合出来的结果，未被GROUP BY的列将显示为NULL。
实战 | Hive 如何使用 Grouping Sets
SmartSi
08-13 993
这篇文章描述了 SELECT 语句 GROUP BY 子句的增强聚合功能 GROUPING SETS。GROUPING SETS 子句是 SELECT 语句的 GROUP BY 子句的扩展。通过 GROUPING SETS 子句，你可采用多种方式对结果分组，而不必使用多个 SELECT 语句来实现这一目的。这就意味着，能够减少响应时间并提高性能。...
Hive、Oracle、PgSQL实际生产中遇到的问题
aikeaidecxy的博客
08-10 1410
前言：做为一名数据开发人员，难免在工作中遇到各种数据库的各种问题，下面总结如下，希望对遇到此类问题的各位同仁有所帮助，也希望大家多多指正和下方留言实际生产中遇到的关于数据库的各种疑难问题和解决方案，大家互相探讨学习 1 怎么进行行列转换? 将上面上图转换为下图形式 Oracle语法： with temp as( select ‘50923’ 总在位人数 ,‘4126’ 不在位人数,‘46797’ 在位人数 from dws_fr_qyjbxx_df ) select num,sort from temp
【hive使用教程】3.2玩转Hive多维数据统计-grouping sets
stonehigher125的专栏
09-02 3538
背景 一般的分组统计使用group by 完成，但是部分业务场景下，需要不同维度的数据存在在一张表中，即多维统计报表，如果使用group by进行计算，需要使用大量的union all完成，代码冗余比较多，Hive提供一种方便的方法，用来一次性完成这种统计 1、GROUPING SETS grouping sets允许针对同一个数据集进行不同维度的统计，其原理类似于将不同的group by的...
hive 数据倾斜问题汇总
大龄程序员
06-29 407
数据倾斜，即单个节点认为所处理的数据量远大于同类型任务所处理的数据量，导致该节点成为整个作业的瓶颈，这是分布式系统不可避免的问题，从本质上说，导致数据倾斜有两种原因 1.任务读取大文件 2.任务需要处理大量相同键的数据 任务读取大文件，最常见的就是读取压缩的不可分割的大文件，而任务需要读取大量相同键的数据，这种情况下有一下4种表现形式： 1.数据含有大量无意义的数据，例如空值（null），空字符串等 2.含有倾斜数据在进行聚合计算时无法聚合中间结果，大量数据都需要经过shuffle阶段的处理，引
[hive]解决group by 字段超过系统规定64个
胖胖的博客
10-10 430
用开窗函数即可where rn=1。
presto查hive报错：end index must not be greater than size 问题分析和解决
涤生大数据
12-17 1994
presto0.208连接hive有不少坑，请尽量不要选择这个版本。presto0.208以上的版本，jdk需要8_151+
Hive之grouping sets用法详解
热门推荐
weixin_43597208的博客
08-20 1万+
比如(class, course), 二进制为 101，十进制则为5，则grouping__id为5，同理grouping__id为6，则组合为（sex,course），二进制为110；比如 group by class,sex,course,则二进制的顺序为：course sex class ,grouping sets字段出现则为1，反之则为0，关于grouping sets的使用，通俗的说，grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。
【大数据入门核心技术-Hive】（二十）Hive之grouping sets用法及grouping_id计算方法
05-08 687
grouping sets 中的每一种粒度，都对应唯一的 grouping__id 值，其计算公式与 group by 的顺序、当前粒度的字段有关。3、grouping sets 中的所有字段，都必须出现在 group by 中，相当于 group by 后面的字段是最细粒度。4、如果 select 中的字段，没有包含在某个 grouping set 中，那么这个粒度下的这个字段值为 NULL。这就是上面 grouping sets 的结果中 grouping__id 值的由来。
hive中grouping sets
u011500419的专栏
04-11 1825
hive中grouping sets 数量较多时如何处理? 可以使用如下设置来 sethive.new.job.grouping.set.cardinality=30; 这条设置的意义在于告知解释器，group by之前，每条数据复制量在30份以内。 grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。 demo： sele...
Hive.GROUPING SETS
top8488.top大数据
10-15 231
如果说聚合函数（Simple UDAF / Generic UDAF）是HQL聚合数据查询或分析的中枢处理器，那GROUP BY可以说是聚合函数的神经了，GROUP BY收集和传递材料，然后交给聚合函数们去处理。这些材料的组织形式显得尤为重要，它们表达着分析者想要的观察维度或视角，管理着聚合函数们的操作对象。 而分析者经常想要在一次分析中从多个维度去获得分析数据，对包含多个维度或多级层次的分析，上卷（roll up）或下钻（drill down）一类就很有分析价值。 我们有时...
hive--grouping sets相关报错
qq_46893497的博客
02-07 2607
文章目录missing ) at ',' near ')'，同时其报错位置指向grouping sets 括号内部SemanticException 104:1 [Error 10213]: Grouping sets expression is not in GROUP BY key. Error encountered near token ... missing ) at ‘,’ near ‘)’，同时其报错位置指向grouping sets 括号内部 报错sql select tab1.a
hive3.0惊天大bug发现，grouping()函数只能小写，大写直接报错，hive不是不区分大小写吗.
zwmonk的博客
08-09 1036
在最近写脚本时发现，一直使用的grouping()函数只能小写，改成大写直接报错。下面例子来证明一下。 1.如下图为表的数据 hive> select * from dwd_user_page_view_dm; OK user_id pv pt_d 0006D2BC14DF914C0 62 20201011 83AD10183789E78D4 4 20201011 15AE1A14B8
Hive.GROUPING SETS的“陷阱”
wer0735的博客
07-16 2944
转载：https://blog.youkuaiyun.com/mashroomxl/article/details/23022123之前整理了一下Hive 0.10版引进的GROUPING SETS子句特性，并作了简单的句法使用体验和数据验证。但是当时没有注意到稍微复杂一点的情况，然后，在实际使用过程中，妥妥地就中了一枪。       这一枪发生在有JOIN操作的时候，情况是这样的：我要对Hive表data_...
sparksql执行报错grows beyond 64 KB
weixin_43015677的博客
03-29 611
报错内容Code of method “apply_2(Lorg/apache/spark/sql/catalyst/expressions/GeneratedClass(Lorg/apache/spark/sql/catalyst/expressions/GeneratedClass(Lorg/apache/spark/sql/catalyst/expressions/GeneratedClassSpecificUnsafeProjection;Lorg/apache/spark/sql/catalyst
hive中的grouping sets的使用和实际应用
滴水穿石的启示
11-27 1706
grouping sets如何使用 数据准备： 建表语句： use default; create table gb( a string, b string, c int )row format delimited fields terminated by '\t' stored as textfile; 案例数据： 1 1 1 2 ...
Hive中数据去重的办法
HZAOLICHENG的博客
03-21 1139
数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换：方法一: select name,count(distinct(related_id)) from emp group by name; ...
《Hive性能调优实战》摘录
weixin_40503364的博客
05-08 1746
性能调优的多样性 1 SQL优化 union all可以改成两次连续的insert插入可以提高mapreduce性能， 但是在之后的版本hive自身做了优化，该方法则并不能再提高性能 2 数据块大小 减少map数量，提高网络传输压力有时候可以提高性能 3 不同的数据格式 SequenceFile Parquet ORC 4 表设计 如分区，分桶，同时分区分桶 排查和调优思路 ...
hive增强的聚集，魔方，分组和汇总
Rainmt_Tank的博客
08-11 1536
本文档介绍了增强聚集功能，为GROUP BY的SELECT语句子句。 GROUPING SETS子句 Grouping_ID功能 多维数据集和汇总 hive.new.job.grouping.set.cardinality 【版本】 分组集，CUBE和汇总运算符和函数GROUPING__ID分别加入hive0.10.0。 见HIVE-2397，HIVE-3433，HIVE-3471，
hiveSql 报错 Grouping sets expression is not in GROUP BY key.
最新发布
11-02
Hive SQL报这个错误通常是因为你在查询中尝试使用GROUPING SETS操作符对数据进行分组，但是该操作需要有一个明确的GROUP BY子句，以便确定如何组合行并计算聚合函数。GROUP BY子句指定的是哪些列应参与分组。 ...
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值