spark数据量过大导致：java.lang.OutOfMemoryError: Java heap space

原创于 2019-04-11 11:34:10 发布 · 3.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据

本文详细解析了Spark运行过程中可能出现的内存不足问题，包括executor和driver内存限制的原因，并提供了三种有效的解决方案，帮助开发者通过调整内存配置提升Spark应用的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题分析：

原因一：executor内存不够
原因二：driver内存不够

解决方法

方法一：直接在应用程序中修改内存大小

conf.set('spark.executor.memory','32g').set('spark.driver.memory','32g')

memory尽量设大

方法二：spark.default.conf中修改

spark.driver.memory 15g

方法三：spark-submit提交时修改

./spark-submit \
    --master spark://192.168.1.102:7077
    --num-executors 4
    --executor-memory 20G
    --executor-cores 8
    --driver-memory 15G
    --conf spark.default.parallelism=100
    *.py