spark-OutOfMemory:GC overhead limit exceeded 解决

最新推荐文章于 2024-04-09 08:50:11 发布
原创 最新推荐文章于 2024-04-09 08:50:11 发布 · 1.3w 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文分享了在运行Spark程序时遇到的OutOfMemoryError: GC Overhead Limit Exceeded错误及解决过程。通过调整executor core数量从4减至1，成功解决了问题。
部署运行你感兴趣的模型镜像

今天准备跑自己的spark程序，但是运行过程中遇到了OutOfMemory:GC overhead limit exceeded的错误。

原以为是数据集太大，google了一番，以为是内存不够了，但是在webui一看其实数据集好像也不是很大，但是还是尝试提高了内存配置，通过提高spark.executor.memory和spark.shuffle.memoryFraction，降低spark.storage.memoryFraction，来提高机器可用的堆空间。

再次运行发现，问题依旧。在苦恼中找到Spark User Mailing List的一个问答帖，有人和我遇到了同样的问题。在帖子里发现了一个新的解释：executor core数量太多，导致了多个core之间争夺gc时间以及资源（应该主要是内存资源），最后导致大部分的时间都花在了gc上。

根据他的建议，我把core数量从4调到了1（也是挺极端的，真是为了成功运行，我拼了），方法是：由于我是spark standalone集群模式，所以直接编辑conf/spark-env.sh中的SPARK_EXECUTOR_CORES

运行，成功了。

真是不可思议，本来并行是为了提高速度和效率，但是这里却反而导致了运行失败。具体原因其实还不清楚，关于jvm的gc我也不甚了解，甚至也是今天我才尝试设置spark的其他环境参数，还是要多加学习啊！

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

java.lang.OutOfMemoryError: GC overhead limit exceeded
SunnyRivers
10-09 943
不同的管理模式下，这三部分占用的空间大小各不相同。Spark 对堆内内存的管理是一种逻辑上的”规划式”的管理，因为对象实例占用内存的申请和释放都由 JVM 完成，Spark 只能在申请后和释放前记录这些内存，我们来看其具体流程：
【jvm】java jvm 报错 OutOfMemoryError: GC overhead limit exceeded
九师兄
03-18 1463
1.概述 JVM 抛出 OutOfMemoryError 的最后一种情况是 JVM 认为在执行 GC 上花费了太多时间： Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded 当满足下列所有条件时就会抛出该错误。 花在 Full GC 上的时间超出了 -XX:GCTimeLimit=N 标志指定的值。其默认值是 98（也就是，如果 98% 的时间花在了 GC 上，则该条件满足）。 一次 Fu.
spark出现GC overhead limit exceeded和java heap space
chuanjiaoye5017的博客
10-14 1039
spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数...
Spark 总结项目一---报错:GC overhead limit exceeded & thread task-result-getter-2
修行的博客
09-25 1175
六、spark集群报错：GC overhead limit exceeded & thread task-result-getter-2 难点： 集群提交spark报错代码 xxxxxx 20/09/16 03:58:51 WARN scheduler.TaskSetManager: Stage 26 contains a task of very large size (1319 KB). The maximum recommended task size is 100 KB. 20/09/1
17 记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded
970655147的专栏
01-29 3263
前言 呵呵 最近因为一次 测试造了一张 200w 数据记录的表 然后 业务上需要分析 这张表, 然后 使用 spark 来进行处理的时候 发生了 "GC overhead limit exceeded" 当然 问题的本质原因 似乎是和我最开始 期望的原因 有一些差别, 呵呵 测试代码 测试代码 大致如下, rdd 是根据这张大的数据表记录构造的 " select * from big_record ",big_record 差不多是 38 个字段, 200w 的数据 看到...
GC overhead limit exceeded : Spark
Glad_Xiao的博客
10-13 9323
我在运行Spark程序的时候报错java.lang.OutOfMemoryError：GC overhead limit exceeded伴随着通常有:java.lang.OutOfMemoryError：Java heap spaceorg.apache.spark.shuffle.FetchFailedException:Failed to connect to ...这是因为executor的
Spark GC overhead limit exceeded
大师兄你家猴跑啦的博客
04-24 7996
1、在运行spark 代码时，抛出错误：18/03/24 08:52:00 WARN server.TransportChannelHandler: Exception in connection from /192.168.200.164:37768 java.lang.OutOfMemoryError: GC overhead limit exceeded at java.io...
spark+hive执行时报java.lang.OutOfMemoryError：GC overhead limit exceeded
Liuxw666666的博客
04-09 1029
GC出问题了，整体上就要从两个方面去考虑，一是自己写的程序代码是不是有问题，由于我这里的代码很简单，只是见到的执行了一个sql，而且sql没有更好的优化方案了，所以排除了程序代码的问题；二就是相应的内存是不是给的少了，因为这里要处理的表的数据量特别大，不是java经常操作的mysql这种数据库处理的量级，所以第一时间去看了spark-shell的执行脚本里的一些配置，也从网上百度了一些博客，有的告诉调整executor-memory的大小，我试了没有效果，后来是看到了另一篇博客告诉。
spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded
sigurwang的博客
07-15 1万+
此次异常是在集群上运行的spark程序日志中发现的。由于这个异常导致sparkcontext被终止，以致于任务失败： 出现的一些原因 参考：GC overhead limit exceeded java.lang.OutOfMemoryError有几种分类的，这次碰到的是java.lang.OutOfMemoryError: GC overhead limit exceeded，下面就来说说这种类型的内存溢出。 简单来说，java.lang.OutOfMemoryError: GC overhead li
Spark java.lang.outofmemoryerror gc overhead limit exceeded 与 spark OOM:java heap space 解决方法
热门推荐
coco_ethan的专栏
06-18 1万+
问题描述： 在使用spark过程中，有时会因为数据增大，而出现下面两种错误: java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError：GC overhead limit exceeded 这两种错误之前我一直认为是executor的内存给的不够，但是仔细分析发现其实并不是executor内存给的不足，而是
pyspark Exception in thread “refresh progress“ java.lang.OutOfMemoryError GC overhead limit exceeded
07-06 990
from pyspark.sql import SparkSession # 出错设置 # https://blog.youkuaiyun.com/qq_35744460/article/details/83650603 ''' .config("spark.debug.maxToStringFields", "100") \ ''' # 另外一个错误 Exception in thread "refresh progress" java.lang.OutOfMemoryError: GC overhead li
spark报出An error occurred while calling o209.showString.和GC overhead limit exceeded的解决方法
大马猴5的博客
12-18 2299
spark报出An error occurred while calling o209.showString.和GC overhead limit exceeded的解决方法
关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded
大数据挖掘SparkExpert的博客
11-15 4052
最近在升级一个框架的时候，发现某个流式计算程序每隔一定的时间就会出现GC overhead limit exceeded的错误问题。 这个问题肯定是内存不够，但是初始设置的内存是够的啊，于是进行各种内存优化，如将变量定义在循环体外等控制，但是发现只是将这个间隔时间往后推了一下而已。 还是没有找到症结所在。 后来再分析了下，可能是哪些变量占了内存没有及时释放掉，
Spark内存溢出OOM异常:OutOfMemoryError:GC overhead limit exceeded,Java heap space的解决方案
superMario
01-09 6334
版权声明：本文为博主原创文章，未经博主允许不得转载。https://me.youkuaiyun.com/qq_41958123 因为之前spark程序运算量不是特别大，关于提交时申请的集群资源就一直没有变动，后来数据不断增大，导致程序出现以下异常： java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError：G...
spark java内存溢出_Spark内存溢出OOM异常:OutOfMemoryError:GC overhead limit exceeded,Java heap space的解决方案...
weixin_29266007的博客
02-28 1948
因为之前spark程序运算量不是特别大，关于提交时申请的集群资源就一直没有变动，后来数据不断增大，导致程序出现以下异常：java.lang.OutOfMemoryError: Java heap spacejava.lang.OutOfMemoryError：GC overhead limit exceededspark属性方面调整：一般这两个异常是由于executor或者driver内存设置的不...
GC overhead limit exceeded
苹果香蕉哩
02-13 1114
Android Studio出现GC overhead limit exceeded 方法一： 修改项目目录下的gradle.properties，增加如下配置信息（红色文字中需要根据自己电脑的配置修改内存大小，其余的配置用于加快gradle的编译速度） org.gradle.daemon=true org.gradle.jvmargs=-Xmx4096m -XX:MaxPermSize=4096...
Spark java.lang.outofmemoryerror gc overhead limit exceeded 与 spark OOM:java heap space 解决方法...
weixin_30260399的博客
07-28 194
引用自：http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed4fece7631046893b4c4380146d96864968d4e414c4224614143bbae87a221207d0d82f2747f41802bded602571507be9dad58f49d8b9972b2b8933712d5cd04e53914aef925125b061...
idear提示[ERROR] BUILD FAILED [ERROR] java.lang.OutOfMemoryError: GC overhead limit exceeded [ERROR] BUILD FAILED [ERROR] java.lang.OutOfMemoryError: GC overhead limit exceeded [ERROR] BUILD FAILED [ERROR] java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法
最新发布
10-23
在 IntelliJ IDEA 中提示 `BUILD FAILED` 和 `java.lang.OutOfMemoryError: GC overhead limit exceeded` 错误，可尝试以下解决办法： ### 修改 IDEA 内配置 - 在 `File -> Settings -> Build,Execution,Deployment -> Complier` 中，设置【Build process heap size(Mbytes)】为 2000。 - 在 `File -> Settings -> Build,Execution,Deployment -> Build Tools -> Maven -> Importing` 中，设置【VM options for importer】为 `-Xmx1024m` [^1]。 ### 修改 IDEA 安装目录下的配置文件 进入 IntelliJ IDEA 的安装目录，找到文件 【idea64.exe.vmoptions】（如果是 32 位机器，修改【idea.exe.vmoptions】文件），修改配置为： ```plaintext -Xms1024m -Xmx2048m -XX:ReservedCodeCacheSize=1024m ``` 这样可以增加 IDEA 启动时 JVM 的堆内存大小 [^1]。 ### 通用的内存优化方法 - **增加堆内存**：在运行项目时，通过修改 JVM 参数来增加堆内存的大小，例如在启动 Java 应用时添加 `-Xmx` 和 `-Xms` 参数，`-Xmx` 用于设置最大堆内存，`-Xms` 用于设置初始堆内存。示例命令如下： ```bash java -Xmx4096m -Xms2048m YourMainClass ``` - **调整 GC 策略**：不同的垃圾回收器适用于不同的场景，可以根据应用的特点选择合适的垃圾回收器。例如，对于服务器端应用，可以使用 G1 垃圾回收器，通过添加 `-XX:+UseG1GC` 参数来启用： ```bash java -XX:+UseG1GC YourMainClass ``` - **优化代码**：检查代码中是否存在内存泄漏的问题，确保对象在不再使用时及时释放引用。例如，避免在循环中创建大量的临时对象，尽量复用对象。 ```java // 不好的示例 for (int i = 0; i < 1000; i++) { String temp = new String("temp"); // 使用 temp } // 好的示例 String temp; for (int i = 0; i < 1000; i++) { temp = "temp"; // 使用 temp } ``` - **禁用 GC overhead limit**：虽然不推荐长期使用，但在某些情况下可以临时禁用 GC overhead limit 检查，通过添加 `-XX:-UseGCOverheadLimit` 参数来禁用： ```bash java -XX:-UseGCOverheadLimit YourMainClass ``` - **使用内存分析工具**：使用工具如 VisualVM、YourKit 等分析内存使用情况，找出内存占用过高的对象和代码段，进行针对性的优化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值