22. org.apache.spark.sql.AnalysisException: Reference 'XXXXX' is ambiguous

最新推荐文章于 2025-01-16 16:23:40 发布

元元的李树

最新推荐文章于 2025-01-16 16:23:40 发布

阅读量3.4k

点赞数 1

文章标签： Spark

本文链接：https://blog.youkuaiyun.com/qq0719/article/details/102973874

版权

本文解析了在使用Apache Spark SQL进行多表JOIN操作时，出现的'XXXXX'引用模糊错误，即因重复列名导致的问题。文章提供了两种解决方案：一是在选择重复列时明确指出列所属的DataFrame；二是通过在JOIN时为重复列取别名来避免冲突。并附带代码示例，帮助读者理解和应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

22.

org.apache.spark.sql.AnalysisException: Reference 'XXXXX' is ambiguous

原因是：多表join后，存在重复列的问题。

①解决办法，选择重复列时，指明该列来自之前join的DataFrame即可。

②join时，把重复列取别名。

下面对方法①做一个demo演示。

val joined = df.join(df2, df("course") === df2("course") && df("name") === df2("name"), "left_outer")

#出现了重复course 和 name 列

#取 course 和 name 列时，指定对应df的列即可

# 报错代码
val errCode = joined.select("name", "course")
#org.apache.spark.sql.AnalysisException: Reference 'XXX' is ambiguous

###########################
#正确代码
val rightCode = joined.select(df("name"), df("course"), df2("name"), df2("course"))

此贴来自汇总贴的子问题，只是为了方便查询。

总贴请看置顶帖：

pyspark及Spark报错问题汇总及某些函数用法。

https://blog.youkuaiyun.com/qq0719/article/details/86003435