Spark out of memory相关问题

最新推荐文章于 2025-05-13 08:15:29 发布

大模型发展与战略研究中心

最新推荐文章于 2025-05-13 08:15:29 发布

阅读量3.2k

点赞数

分类专栏：大数据系统文章标签： java 内存数据 heap hive

大数据系统专栏收录该内容

40 篇文章

订阅专栏

本文详细解析了在使用Spark过程中遇到的Java heap space和GC overhead limit exceeded错误的原因，并提供了两种有效的解决方法：通过spark-submit命令行参数调整driver内存大小或修改spark-defaults.conf配置文件。通过实施这些解决方案，可以避免在处理大量数据时因内存不足导致的任务失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Spark OOM：java heap space，OOM:GC overhead limit exceeded解决方法

1.1问题描述：

在使用spark过程中，有时会因为数据增大，而出现下面两种错误:

java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError：GC overhead limit exceeded

这两种错误之前我一直认为是executor的内存给的不够，但是仔细分析发现其实并不是executor内存给的不足，而是driver的内存给的不足。在standalone client模式下用spark-submit提交任务时（standalone模式部署时，默认使用的就是standalone client模式提交任务），我们自己写的程序（main）被称为driver，在不指定给driver分配内存时，默认分配的是512M。在这种情况下，如果处理的数据或者加载的数据很大（我是从hive中加载数据），driver就可能会爆内存，出现上面的OOM错误。

1.2解决方法：

参考：http://spark.apache.org/docs/latest/configuration.html

方法一：在spark-submit中指定 --driver-memory memSize参数来设定driver的jvm内存大小，可以通过spark-submit --help查看其他可以设置的参数。

eg:

./spark-submit \
  --master spark://7070 \
  --class $MAIN_CLASS \
  --executor-memory 3G \
  --total-executor-cores 10 \
  --driver-memory 2g \
  --name $APP_NAME \
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
  "$SPARK_APP_JAR"

方法二：在spark_home/conf/目录中，将spark-defaults.conf.template模板文件拷贝一份到/spark_home/conf目录下，命名为spark-defaults.conf，然后在里面设置spark.driver.memory memSize属性来改变driver内存大小。

eg:

 spark.master                       spark://master:7077
 spark.default.parallelism          10
 spark.driver.memory                2g
 spark.serializer                   org.apache.spark.serializer.KryoSerializer
 spark.sql.shuffle.partitions       50