博客详细描述了在使用Spark处理DataFrame并尝试将其写入PostgreSQL时遇到的错误。作者发现分区数量过多可能是问题所在，尝试调整--num-executors参数至6后，成功解决了写入过程中的错误。
Spark 处理完后的DataFrame写入pgsql时报错：
通过查看分区数，发现分区在100~500之间，因此写入时repation至10个分区，后来报错如下：
最终调小 --num-executors 6解决。
扫一扫
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
Spark 处理完后的DataFrame写入pgsql时报错：
通过查看分区数，发现分区在100~500之间，因此写入时repation至10个分区，后来报错如下：
最终调小 --num-executors 6解决。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
