SparkCore错误分享 Caused by: java.net.SocketException: Connection reset by peer: socket write error

今天用Pycharm写SparkCore的时候遇到了一个错误

正常来看代码是没有什么问题的

事实上代码确实没有问题

那么问题出在那里了

了解了一下

在运行 pyspark 代码读取数据后，有时候会出现这个错误。原因是连接数过多，一般出现这个问题，都是本地 windows 运行 spark 代码，而读取的数据过多，另外就是代码中使用了 take() 这个算子，有两种办法：

1、将数据量变小一点，只截取一部分进行测试

2、不要使用take算子，结果集少的情况下使用foreach也可以查看，如果输出特别多foreach会一直输出

（ps：pyspark中的foreach函数是一个用于遍历RDD中每个元素并对其执行指定操作的函数。它可以用于执行一些需要对每个元素进行个性化处理的任务，例如将每个元素写入数据库、保存到文件等。）