AttributeError: ‘str‘ object has no attribute ‘leftOuterJoin‘

原创于 2024-04-20 10:48:17 发布 · 130 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文介绍了在Python中使用Spark进行数据处理时，如何使用join()函数以及一个示例代码。同时提到了可能的错误点，指出&左外连接错误，并讨论了collect()方法的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、关键错误

print(','.leftOuterJoin(rdd.collect()))

2、校正错误

print(','.join(rdd.collect()))

3、完整代码

# 测试join()如何使用以效果
from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("测试8 App")
sc = SparkContext(conf=conf)
list = ["Hadoop", "Spark", "Hive"]
rdd = sc.parallelize(list)
print(rdd.count())
print(rdd.collect())
print(','.join(rdd.collect()))

4、报错原因：待定