pyspark3.1异常: Python worker failed to connect back

最新推荐文章于 2024-01-09 10:40:39 发布

不秃不强就很帅

最新推荐文章于 2024-01-09 10:40:39 发布

阅读量5.1k

点赞数 9

CC 4.0 BY-SA版权

分类专栏： Spark Python

本文链接：https://blog.youkuaiyun.com/lyd882/article/details/118897017

在win10环境下，使用spark3.1.2和hadoop3.3.1时，遇到pyspark Python worker无法连接的错误。通过查看异常信息并分析，最终解决方案是在系统环境变量中进行设置，从而成功解决了该问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pyspark环境配置报错解决

异常描述

环境：win10, spark3.1.2版本，hadoop3.3.1,java1.8
在pycharm或直接在pyspark shell环境中执行如下测试代码报错：
pyspark3.1: Python worker failed to connect back

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, LongType, StringType, IntegerType

if __name__ == "__main__":
   spark = SparkSession.builder.master('local[1]').getOrCreate()

   spark_rdd = spark.sparkContext.parallelize([
    (