在运行 pyspark 代码读取数据后,有时候会出现这个错误。原因是连接数过多,一般出现这个问题,都是本地 windows 运行 spark 代码,而读取的数据过多,另外就是代码中使用了 take() 这个算子,有两种办法:
1、将数据量变小一点,只截取一部分进行测试
2、不要使用take算子了。
3.使用foreach算子
在运行 pyspark 代码读取数据后,有时候会出现这个错误。原因是连接数过多,一般出现这个问题,都是本地 windows 运行 spark 代码,而读取的数据过多,另外就是代码中使用了 take() 这个算子,有两种办法:
1、将数据量变小一点,只截取一部分进行测试
2、不要使用take算子了。
3.使用foreach算子