spark报出An error occurred while calling o209.showString.和GC overhead limit exceeded的解决方法

最新推荐文章于 2025-03-24 11:13:28 发布
最新推荐文章于 2025-03-24 11:13:28 发布
阅读量2.2k 收藏
点赞数 1
文章标签： spark jvm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ymdaa555/article/details/128361808
版权
本文探讨了在处理大量数据时遇到的JVM内存溢出问题，提出了两种解决方案。一是通过使用isin函数替代多次迭代，减少内存消耗；二是利用Spark的缓存机制df.persist()，在关键步骤保存数据到硬盘，缓解内存压力。实践证明，这两种方法能有效避免内存溢出，并且df.persist()还能提高运行效率。在程序完成后，记得释放缓存以释放硬盘空间。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如下图的错误解决方法

出现该错误的原因是因为迭代处理的数据量太大，jvm的自动回收垃圾机制不完善导致的，比如我在这里对2千万的数据迭代处理24次，数据就报错了。

解决方法一：可以利用isin函数代替24次迭代过程

改为

在这里提一句

df1 = df.withColumn('zt', when(col("zt") == '开业', 1).otherwise(col('zt')))

这一句的作用是把zt列，值为开业的改为1

 

解决方法二：利用spark的缓存机制df.persist()函数

分别在df4,df9,df14,df20利用缓存机制把数据先存储到硬盘上释放 内存空间，方便我们执行下面迭代程序，解决jvm内存不足问题。（在这里提一句话可以根据需求多设几处perrsist,用时间换取空间）

最后程序跑完可以释放缓存

df4.unpersist()

df9.unpersist()

df14.unpersist()

df20.unpersist()

解决问题完成。

 

df.persist()函数还可以大大节省运行时间，如在多次需要运行一个数据集情况下，这里属于空间换时间

【docker】安装redis和mysql生产实战
阿杰
11-23 560
docker安装诸如redis，mysql等程序非常方便，但是如果不是为了学习，生产环境的部署还是要注意很多问题的 redis 拉取镜像 创建映射目录 修改配置文件官网： https://github.com/redis/redis/blob/6.0.16/redis.conf下载对应本版的配置文件redis/redis.conf at 6.0.16 · redis/redis · GitHub（单独复制redis.conf或则将整个源码拉下来） 然后将配置文件放在上面创建的 /usr/docker/t
Docker 安装 redis,并配置持久化,redis默认的redis.conf文件
qq_52252193的博客
04-26 4874
1. docker pull redis:6.0.8 2.命令提醒：容器卷记得加入--privileged=true 3.本机建立文件夹，用来映射容器卷 建立 /mytest-docker/redis 建立 redis.conf文件 修改里面的内容 （随便拷贝一个已经安装过的redis.conf 如果没有，下面我贴附了 redis 出厂默认的 conf 文件 允许redis外地连接 必须 注释掉 # bind 127.0.0.1 修改 daem...
GC overhead limit exceeded : Spark
Glad_Xiao的博客
10-13 9278
我在运行Spark程序的时候报错java.lang.OutOfMemoryError：GC overhead limit exceeded伴随着通常有:java.lang.OutOfMemoryError：Java heap spaceorg.apache.spark.shuffle.FetchFailedException:Failed to connect to ...这是因为executor的
spark出现GC overhead limit exceeded和java heap space
chuanjiaoye5017的博客
10-14 1011
spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数...
GC overhead limit exceeded---Java 虚拟机 (JVM) 在进行垃圾回收内存量非常少解决
最新发布
Matrix70的博客
03-24 366
GC overhead limit exceeded-这个bug错误通常表示 Java 虚拟机 (JVM) 在进行垃圾回收时花费了过多的时间，并且回收的内存量非常少。这通常是由于内存不足或数据量过大导致的,如下图，我自己跑的程序出现错误。基本就这几种方案，一个一个试出来的，然后解决了，遇事不决调整资源，然后调整比例。内存，还是TMD内存！我正在跑一个数据处理较为复杂的程序。然后调试了很多遍，出现了GC问题，如下图bug.增加数据的分区数量可以帮助分散数据处理的负担，从而减少每个分区的内存消耗。
spark-OutOfMemory:GC overhead limit exceeded 解决
Eric ' s Code Blocks
04-27 1万+
今天准备跑自己的spark程序，但是运行过程中遇到了OutOfMemory:GC overhead limit exceeded的错误。最后通过设置spark executor cores解决
An error occurred while calling o23.sql
weixin_45884932的博客
06-15 3812
PySparkSql 报An error occurred while calling o23.sql的错 一般情况款下，可能是是写SparkSql的时候，字段名，或者表名写错了，就会报这个错，改一下字段和名称即可
解决An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : java.lang.Illeg
发现问题，并解决问题，批判性思维
09-06 5839
解决```java py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0xb104ca1) cannot access class sun.nio.
使用docker 部署，若依/RuoYi-Vue
weixin_49238911的博客
07-19 2432
使用docker 部署，若依/RuoYi-Vue
官网redis.conf文件
Session_s的博客
12-13 736
官网redis.conf文件 # Redis configuration file example. # # Note that in order to read the configuration file, Redis must be # started with the file path as first argument: # # ./redis-server /path/to/redis.conf # Note on units: when memory size is needed, it
Docker安装Redis 指定外部文件redis.conf启动
qq_29138685的博客
08-01 696
0、linux系统为阿里云的centos7.4 1、拉取Redis镜像: docker pull redis:4.0.14 2.创建文件/home/redis/conf/redis.conf，用于挂载Redis配置文件(文章结尾附上配置文件)： mkdir -p /home/redis/conf/ ##创建文件夹 touch /home/redis/conf/redis.conf ## ...
Py4JJavaError: An error occurred while calling o18.sql. : java.lang.RuntimeException:
热门推荐
BIT_SKY的博客
10-23 1万+
from pyspark import SparkContext from pyspark import HiveContext if __name__ =="__main__": sc = SparkContext(appName="demo") sqlContext = HiveContext(sc) table_df = sqlContext
Spark GC overhead limit exceeded
大师兄你家猴跑啦的博客
04-24 7935
1、在运行spark 代码时，抛出错误：18/03/24 08:52:00 WARN server.TransportChannelHandler: Exception in connection from /192.168.200.164:37768 java.lang.OutOfMemoryError: GC overhead limit exceeded at java.io...
spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded
sigurwang的博客
07-15 9981
此次异常是在集群上运行的spark程序日志中发现的。由于这个异常导致sparkcontext被终止，以致于任务失败： 出现的一些原因 参考：GC overhead limit exceeded java.lang.OutOfMemoryError有几种分类的，这次碰到的是java.lang.OutOfMemoryError: GC overhead limit exceeded，下面就来说说这种类型的内存溢出。 简单来说，java.lang.OutOfMemoryError: GC overhead li
spark+hive执行时报java.lang.OutOfMemoryError：GC overhead limit exceeded
Liuxw666666的博客
04-09 944
GC出问题了，整体上就要从两个方面去考虑，一是自己写的程序代码是不是有问题，由于我这里的代码很简单，只是见到的执行了一个sql，而且sql没有更好的优化方案了，所以排除了程序代码的问题；二就是相应的内存是不是给的少了，因为这里要处理的表的数据量特别大，不是java经常操作的mysql这种数据库处理的量级，所以第一时间去看了spark-shell的执行脚本里的一些配置，也从网上百度了一些博客，有的告诉调整executor-memory的大小，我试了没有效果，后来是看到了另一篇博客告诉。
关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded
大数据挖掘SparkExpert的博客
11-15 4014
最近在升级一个框架的时候，发现某个流式计算程序每隔一定的时间就会出现GC overhead limit exceeded的错误问题。 这个问题肯定是内存不够，但是初始设置的内存是够的啊，于是进行各种内存优化，如将变量定义在循环体外等控制，但是发现只是将这个间隔时间往后推了一下而已。 还是没有找到症结所在。 后来再分析了下，可能是哪些变量占了内存没有及时释放掉，
17 记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded
970655147的专栏
01-29 3148
前言 呵呵 最近因为一次 测试造了一张 200w 数据记录的表 然后 业务上需要分析 这张表, 然后 使用 spark 来进行处理的时候 发生了 "GC overhead limit exceeded" 当然 问题的本质原因 似乎是和我最开始 期望的原因 有一些差别, 呵呵 测试代码 测试代码 大致如下, rdd 是根据这张大的数据表记录构造的 " select * from big_record ",big_record 差不多是 38 个字段, 200w 的数据 看到...
Spark 总结项目一---报错:GC overhead limit exceeded & thread task-result-getter-2
修行的博客
09-25 1127
六、spark集群报错：GC overhead limit exceeded & thread task-result-getter-2 难点： 集群提交spark报错代码 xxxxxx 20/09/16 03:58:51 WARN scheduler.TaskSetManager: Stage 26 contains a task of very large size (1319 KB). The maximum recommended task size is 100 KB. 20/09/1
Spark OOM：java heap space，OOM:GC overhead limit exceeded解决方法
10年职场两茫茫，35岁凄凉奈若何
01-28 163
Spark OOM：java heap space，OOM:GC overhead limit exceeded解决方法
Py4JJavaError: An error occurred while calling o62.collectToPython. : java.lang.OutOfMemoryError: GC overhead limit exceeded
11-09
4JJavaError是指在Python和Java之间交互时发生的错误。在这个错误中，An error occurred while calling o62.collectToPython.表示在将数据从Java转换为Python时出现了问题。而java.lang.OutOfMemoryError: GC overhead limit exceeded则表示Java虚拟机在进行垃圾回收时超过了98%的时间，但只回收了不到2%的堆空间，因此抛出了该异常。这通常是由于Java虚拟机的堆空间不足或者存在内存泄漏导致的。解决这个问题的方法有以下几种： 1.增加Java虚拟机的堆空间大小，可以通过设置JVM参数-Xmx和-Xms来实现。 2.检查代码中是否存在内存泄漏的情况，例如未关闭的流或者未释放的资源等。 3.优化代码，减少不必要的对象创建和使用，例如使用缓存或者重用对象等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值