在notebook中使用pyspark遇到的问题

最新推荐文章于 2025-03-06 12:57:56 发布

moledyzhang

最新推荐文章于 2025-03-06 12:57:56 发布

阅读量7.7k

点赞数 2

分类专栏： pyspark 文章标签： pyspark

本文链接：https://blog.youkuaiyun.com/moledyzhang/article/details/78856467

版权

在使用pyspark的notebook环境中，执行rdd.glom().collect()操作时遇到了错误。通过设置环境变量PYSPARK_DRIVER_PYTHON和PYSPARK_PYTHON为/usr/local/anacond/bin/python3，并使用source命令使其生效，然后重启集群的所有节点和Spark服务，成功解决了该问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码：

from pyspark import SparkContext
sc = SparkContext()
rdd.getNumPartitions()
rdd.glom().collect()

遇到的问题：
执行rdd.glom().collect()时出现如下错误：

Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.spark.SparkException: Job aborted due to st