发生这个报错是我使用spark 写数据到clickhouse报得错误,我存入clickhouse结果数据量才80多万条,我给的executor 内存是足够的,所以我把调度的driver内存由1g提高到2g这个错误就没有发生了。
至于为什么增大driver端内存后,这个错误就不出现了;以及这个错误含义是什么我没有深究。如果有大佬对这个有所了解,欢迎留言指正。
发生这个报错是我使用spark 写数据到clickhouse报得错误,我存入clickhouse结果数据量才80多万条,我给的executor 内存是足够的,所以我把调度的driver内存由1g提高到2g这个错误就没有发生了。
至于为什么增大driver端内存后,这个错误就不出现了;以及这个错误含义是什么我没有深究。如果有大佬对这个有所了解,欢迎留言指正。
3616
1021
1072
3320
1732

被折叠的 条评论
为什么被折叠?