spark sql group by 报错

本文介绍了在使用Spark SQL进行group by操作时遇到的错误,重点讲解了如何修复'expression 'a.site' is neither present in the group by, nor is it an aggregate function.'的问题,即在select语句中未包含所有group by字段时,需将非group by字段用first()函数处理。

报错信息,

org.apache.spark.sql.AnalysisException:
expression 'a.`site`' is neither present in the group by, nor is it an aggregate function. 
Add to group by or wrap in first() (or first_value)

报错原因:spark sql 使用group by的时候必须将select的所有字段都写进去。
例如:

select a,b,c from table group by a;

就会报错
解决办法,在不需要group by的字段上加first()

select a,first(b),first(c) from table group by a;

这样就可以了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值