23.
SparkSQL - The correlated scalar subquery can only contain equality predicates
写spark Sql时,用到了嵌套select查询,但sql解析报错,究其原因,和spark本身sql解析机制有关,解决办法是:
改写原有sql即可。下面给出我的一个demo
##有个需求:填充非交易日股票价格,那么需要找到离非交易日最近的那个交易日股价。
###########
# 报错sql
val wrongDF = ss.sql("""
select a.stock_id, a.code, a.date_id, a.date_value,
(select max(b.date_id)