Spark错误异常-sparkMaster GC overhead limit exceeded

最新推荐文章于 2022-12-20 15:13:06 发布

原创最新推荐文章于 2022-12-20 15:13:06 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #gc overhead

spark 专栏收录该内容

14 篇文章

订阅专栏

在Spark standalone模式运行时，可能会遇到Spark Master出现'GC overhead limit exceeded'异常，原因是Master内存中缓存了大量的已完成Applications对象。默认配置下，Master内存为1G，并且会缓存50个应用程序信息，导致内存压力过大。解决方法包括调整Master内存配置和减少缓存的应用数量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark在以standalone模式运行一段时间户总会出现Spark Master GC overhead limit exceeded异常

16/09/20 05:42:24 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkMaster-akka.actor.default-dispatcher-6] shutting down ActorSystem [sparkMaster]
java.lang.OutOfMemoryError: GC overhead limit exceeded

Spark master的内存被GC释放不掉，主要是因为随着时间的推移会缓存大量的对象Web UI中需要显示的已完成的Applications对象，默认设置的缓存数据是50，而启动的spark master进程内存默认设置的大小1G -Xms1g -Xmx1g

spark.history.retainedApplications

在配置文件spark-default.conf中修改保存为一个合适的数量

spark.eventLog.enabled              true
spark.eventLog.dir                  hdfs://namespace/tmp/spark/events
spark.serializer                    org.apache.spark.serializer.KryoSerializer
spark.history.fs.logDirectory       hdfs://namespace/tmp/spark/events
spark.history.ui.port               18080
spark.history.retainedApplications  20
spark.kafka.metadata.broker.list    kafka1:9092,kafka2:9092,kafka3:9092
spark.flume.listener.port           44445
spark.executor.extraJavaOptions     -XX:HeapDumpPath=/data0/spark/temp/dump