spark Caused by: java.lang.OutOfMemoryError: Java heap space 问题

最新推荐文章于 2025-07-01 17:48:13 发布

原创最新推荐文章于 2025-07-01 17:48:13 发布 · 1.2w 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spark

Spark 专栏收录该内容

26 篇文章

订阅专栏

本文针对Spark运行过程中遇到的内存溢出问题进行了分析，并提供了两种有效的解决方案：一是通过spark-submit命令指定driver和executor的内存大小；二是修改spark-defaults.conf配置文件来调整内存分配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：

在使用spark过程中，有时会因为数据增大，而出现下面两种错误:

java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError：GC overhead limit exceeded

问题分析：

原因一：executor内存不够
原因二：driver内存不够

解决方法

方法一

在spark-submit中指定 --driver-memory memSize参数来设定driver的jvm内存大小，--executor-memory memSize指定executor的内存大小，可以通过spark-submit --help查看其他可以设置的参数。

方法二

在spark_home/conf/目录中，将spark-defaults.conf.template模板文件拷贝一份到/spark_home/conf目录下，命名为spark-defaults.conf，然后在里面设置spark.driver.memory  memSize属性来改变driver内存大小，设置spark.executor.memory  memSize属性来改变executor内存大小。

参考http://blog.youkuaiyun.com/gaokao2011/article/details/51707163