hive常见语法错误分组聚合

Hive分组聚合语法错误解析
最新推荐文章于 2023-12-10 19:46:23 发布
原创 最新推荐文章于 2023-12-10 19:46:23 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在使用Hive进行数据表操作时遇到的常见语法错误，特别是在使用GROUP BY语句时，强调了GROUP BY后的数据列必须与SELECT中的列保持一致，或者使用聚合函数。同时，提到了在Nodepad++中执行SQL语句时，由于制表符导致的错误，并给出了去除制表符的解决方案。

一、hive常见语法错误

 

                               图 1.1

当我们在用hive进行数据表的操作时 我们会用得到group by函数那么如图1.1所示假如按照 name 和 month 进行分组

SELECT

 tl.name ,tl.month

,max(tl.amount) ASmonth_amount

,sum(tr.amount) ASaccumulate

 

From 上表

GROUP BY  tl.name ,tl.month

 

Group by 后面的数据 select后可以原样写，表中其他的相同数据列 一定要使用聚合函数 比如tl.amount 和 tr.amo

最低0.47元/天 解锁文章
数仓工具—Hive语法之不同维度聚合
03-20 702
但是我们今天遇到的问题是，使用的工具不支持grouping sets，既然不支持grouping sets 那肯定就不支持cube 和rollup 了，所以这里我给大家介绍两个替代方案。提到不同纬度聚合，大家想到的肯定是grouping sets，或者是cube和rollup 其实这些我们之前都讲过，可以看看之前的文章。三个维度，你可以理解为订单表，这里我们就计算金额吧，需求是计算出每个产品的总金额，同时计算出每个品牌的总金额。这是一个小伙伴提供的思路，我自己试了一下，可以的。
【大数据Hive】hive select 语法使用详解
congge_study的博客
10-14 7568
hive 查询语法使用详解
Hive 执行count聚合函数 insert 方法 map 0% reduce 0%
ZHappyDragon的博客
12-20 1592
Hive 执行count聚合函数 insert 方法 map 0% reduce 0% 报错截图 大概就是stage-1 map=0% reduce=0% return code 2 .。。等等 从里面的报错信息根本看不出什么，那我们就去看日志文件，在hadoop安装目录下的logs/userlogs文件夹里面，里面是这次任务的编号，它是暂时保存的，当hive被关闭时，这些文件已被删除了 在logs/userlogs文件夹里面中，选择一个点进去看 主要查看stderr文件 我这里面报错的是 错误:
CDH hive聚合操作报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
小蚯蚓的博客
07-05 6883
一、问题描述 Hive的shell命令下，执行count(*)的聚合操作，结果报错： Ended Job =job_1561339819051_0474 with errors Error during job,obtaining debugging information ... FAILED : Execution Error, return code 2 from org.apache...
CDH Hive执行聚合函数报错return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask脱坑指南
妖精小狗的博客
08-23 7870
一、组件版本 我用的是CDH5.16.1，Hive版本是1.1.0 二、出现问题 1. 问题一 普通查询很正常但是聚合查询就会报错，然后去查找日志发现在本地没有\tmp\logs文件，这个文件是用来存放Yarn的log日志的地方，之后查看CDH文档发现yarn的job日志同一存放在【http://XXXX（自己的节点IP）:19888/jobhistory】中找到报错的job。打开发现报错...
Hive group by或 left join等聚合操作时报错：Failed to recognize predicate 'group' / 'left'.
昨天感冒了的博客
04-09 3659
Hive执行goup by语句的时候报如下错： "Failed to recognize predicate 'group'. Failed rule: 'identifier' in subquery source" 解决方法：检查字句前面是否有别名，如果没有，需加别名。 ...
【Hive报错】Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function..
一往无前
08-08 8562
Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns 如果聚合函数参数与聚合函数列重叠，则不允许分组集聚合（使用汇总或多维数据集） Grouping sets 里面的字段和sum case when 的字段重复了。params重复。 把这个外面再包一..
Hive语法优化之分组聚合优化
delinr的博客
11-15 916
Hive语法优化之分组聚合
02.hive查询语法--分组聚合--groupby查询--where过滤和having过滤的区别.mp4
04-29
02.hive查询语法--分组聚合--groupby查询--where过滤和having过滤的区别.mp4
Hive增强的聚合、多维数据集、分组和汇总
Java/Python大数据随笔
12-07 1756
在多维分析场景下，我们可能会用到高阶聚合函数，例如CUBEROLLUP等。Hive、Spark、Presto等引擎都提供类似的高阶聚合函数，以对不同维度组合下的数据进行聚合统计Hive官方将这种分析称为GROUP BY子句增强的聚合、多维数据集、分组和汇总那么什么是增强聚合和多维分析呢？增强聚合是指在SQL中使用分组聚合查询时，使用CUBEROLLUP等子句进行操作。常见的查询引擎基本都支持这种语法，例如Hive、Spark、Presto、FlinkSQL等。
【HIVE】count(*) sum() 报错：Error during job, obtaining debugging information...
最新发布
奥利文儿的博客
12-10 1447
在命令行中看不到具体的错误信息，需要在Hadoop YARN平台可视化web界面找到日志记录。在HIVE查询数据过程中，出现count()、sum()的汇总函数时，查询失败，报以下错误。
Hive On Spark报错
huangweicheng123的博客
06-14 1716
Hive On Spark环境中执行selectcount语句时候报错： Failedto execute spark task, with exception'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create sparkclient.) 如图： 报错完整信息是： hive> select coun...
关于group by不使用聚合函数的分组情况
北京Java青年
06-13 1万+
- 没见过group by没和聚合函数一起使用的 - 不会报错，新版mysql默认配置可以这样，如果要像老版之前。可以修改下配置。但是这样查出来的数据没有准确性。因为查询的未分组的列结果是随机的，仔细看解释 - 对，默认隐含分组了，结果看到不对 - 看我发的图，默认给合并了，你做个试验，看结果数据对不...
Hive SQL踩坑记录-NULL判断、字符串拼接、执行报错：Expression not in GROUP BY key
Viga的博客
06-18 766
记录在使用Hive SQL 过程中的错误信息 【Hive SQL踩坑记录】 对于NULL判断 select last_visit_day, case when last_visit_day is NULL then datediff('2021-06-01', '2021-05-01') else COALESCE(datediff(stat_dt, last_visit_day), 0) end as consecutive_days_without_access from
Hive 编程专题五 ： 列引用之聚合函数
wujiandao的专栏
11-16 697
环境： Hive: 2.7.7 Oracle SQL Developer Cloudera JDBC Driver 案例： select type, count( object_id ) as objects from tblobj2 group by type order by objects desc 结果 其他聚合与 SQL Server 有些类似： avg() avg(di...
Hive -【group by】深刻理解，以及数据倾斜、与distinct区别（去重统计）
神是念着倒
09-21 3884
Hive【group by】深刻理解
hive 时间函数_Hive常用大法(聚合/排序/分组)
weixin_39878760的博客
12-01 1431
Hello大家好，今天我们继续上篇文章，为大家分享一些Hive在工作中常用的聚合函数，分组函数，排序等等…………我们就直接从聚合函数开始，什么是聚合函数呢，其实就是一句话，将多行合并为一行，就这么简单，常用到的聚合函数主要有一下几种：sum,count,max,min,avg等，其中注意的是count是对记录的统计，sum是对值的累加~假设我们有一张员工薪资表(emp_table)，现在要统计员工...
【Hive报错】Hive报错Expression Not In Group By Key解决方法
热门推荐
学习笔记
11-10 2万+
SQL例如以下会报错： select sum(time) as time, roadCoding, upstreamOrDownstream from historicalroaddata where ... 报以下roadcoding、upstreamOrDownstream的错误 FAILED: SemanticException [Error 10025]: Line 1:12 Expression not in GROUP BY key ‘roadcoding′ 解决方法：使用collect
hive内嵌UDAF函数: 聚合函数使用详解
涤生大数据
03-06 1万+
1.什么是聚合函数 聚合函数是hive内置函数，聚合函数对一组值执行计算，并返回单个值。在Hive的聚合中，如果某个聚合列的值中有null，则包含该null的行将在聚合时被忽略除，了 COUNT 函数以外。为了避免这种情况，可以使用COALESCE来将null替换为一个默认值。 聚合函数经常与 SELECT 语句的 GROUP BY 子句一起使用。换句话说使用聚合函数时，一个列...
Hadoop数据仓库Hive SQL语法详解
本文主要介绍了Hive SQL语法的总结，包括Hive在Hadoop中的角色、查询执行模型以及其适合的使用场景，并列举了一些常见的Hive SQL命令，如创建数据库、显示表、DDL操作等。 Hive是一个基于Hadoop的数据仓库工具，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值