pyspark在windows下java.net.SocketException: Connection reset by peer 错误

Pyspark Windows训练模型错误修复

最新推荐文章于 2024-10-31 19:06:27 发布

原创最新推荐文章于 2024-10-31 19:06:27 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java #大数据 #python

python 同时被 3 个专栏收录

31 篇文章

订阅专栏

数据挖掘

30 篇文章

订阅专栏

java

14 篇文章

订阅专栏

本文介绍了解决Pyspark在Windows环境下加载数据集训练模型时出现的SocketException错误的方法。通过修改worker.py文件中的process()函数，并重新打包替换原有的pyspark.zip文件，可以有效解决该问题。

pyspark在windows加载数据集训练模型出现以下错误
java.net.SocketException: Connection reset by peer: socket write error
at java.net.SocketOutputStream.socketWrite0(Native Method)
at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:113)

在stackoverflow.com上找到的解决办法
修改spark/python/pyspark目录下worker.py文件
修改 def process():为以下内容


        def process():
            iterator = deserializer.load_stream(infile)
            serializer.dump_stream(func(split_index, iterator), outfile)
            for obj in iterator:
                pass

然后将pyspark目录打包为zip 替换掉spark/python/lib/目录下对应的pyspark.zip文件