最近在客户中使用spark sql 做一些表报处理,但是在做数据关联时,老是遇到 “correlated scalar subqueries must be aggregated” 错误
举一个例子,这个sql 在oracle 或者 postgresql 都是可以正常运行的,但是在spark sql 就会报错“correlated scalar subqueries must be aggregated”
SELECT A.dep_id, A.employee_id, A.age, (SELECT age FROM employee B WHERE A.dep_id = B.dep_id) max_age FROM employee A ORDER BY 1,2
Spark SQL 解决correlated scalar subqueries must be aggregated错误

在使用Spark SQL进行表报处理时遇到'correlated scalar subqueries must be aggregated'错误。问题源于子查询可能返回多个结果,Spark SQL要求子查询聚合。解决方法是在子查询中添加Max()函数确保返回唯一结果。
最低0.47元/天 解锁文章
452

被折叠的 条评论
为什么被折叠?



