pyspark在windows下java.net.SocketException: Connection reset by peer 错误

最新推荐文章于 2024-10-31 19:06:27 发布

walk walk

最新推荐文章于 2024-10-31 19:06:27 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据挖掘 python spark java 文章标签： java 大数据 python

本文链接：https://blog.youkuaiyun.com/dongtest/article/details/84829602

python 同时被 3 个专栏收录

31 篇文章

订阅专栏

数据挖掘

30 篇文章

订阅专栏

java

14 篇文章

订阅专栏

本文介绍了解决Pyspark在Windows环境下加载数据集训练模型时出现的SocketException错误的方法。通过修改worker.py文件中的process()函数，并重新打包替换原有的pyspark.zip文件，可以有效解决该问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pyspark在windows加载数据集训练模型出现以下错误
java.net.SocketException: Connection reset by peer: socket write error
at java.net.SocketOutputStream.socketWrite0(Native Method)
at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:113)

在stackoverflow.com上找到的解决办法
修改spark/python/pyspark目录下worker.py文件
修改 def process():为以下内容


        def process():
            iterator = deserializer.load_stream(infile)
            serializer.dump_stream(func(split_index, iterator), outfile)
            for obj in iterator:
                pass

然后将pyspark目录打包为zip 替换掉spark/python/lib/目录下对应的pyspark.zip文件