Hadoop运行离线任务，Hive跑MR任务时候，出现Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded

最新推荐文章于 2025-05-13 23:08:18 发布
原创 最新推荐文章于 2025-05-13 23:08:18 发布 · 5.1k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hive #MapReduce #MR

一、首先抛出异常问题

二、引发问题原因：

表连接，左表数据100W，右表数据 300W，进行左右表进行表关联，进行Count进行数据统计，等待运行结果！！！

分析问题，查看上述运行流程，即可了解上述异常，查看详细日志信息，URL：即可见到首页出现的问题

三、查看页面可见，有如下图片

四、由上图和图一可知，此MR程序为 Map端出错，出错程序问题问  内存不足，初步怀疑为 Map端内存不足，因为Hadoop体系太大，配置文件最好不要随意更改，调错，需要一个个测试修改，查询百度资料，查询得知：

可

最低0.47元/天 解锁文章
HIVE SQL运行内存溢出OOM（MR/TEZ）：java.lang.OutOfMemoryError: GC overhead limit exceeded
wangkuangood3200的专栏
02-03 4339
【现象】 今天用户反馈运行HQL作业失败，报OOM，于是来排查该问题 查看tez，intialmap大量失败，重试失败。 进入具体一个task，报错指向OOM，溢出原因是在单个map中产生大量对象导致。 HQL语句查询借据号——逾期金额信息，借据号重复率低，导致map维护key（借据号）-value（逾期金额信息）的内存超过了JVM配置的map进程内存大小限制，从而内存溢出。 【原因】 对于group by语句，在MR中，当数据量很大，且没有map聚合时，所有的记录将会被..
Hive Error in configuring object Caused by: java.lang.reflect.InvocationTargetException
weixin_46784562的博客
08-13 1895
报错日志 在一次Hive任务中出现报错，查看yarn日志如下，由于网上没有搜到解决办法，所以自己在官方issue中找到解决办法并记录下 2021-07-31 14:23:11,467 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.Reflect
java.lang.OutOfMemoryError: GC overhead limit exceeded
langzhiwang888的专栏
05-29 344
  这个是JDK6新添的错误类型。是发生在GC占用大量时间为释放很小空间的时候发生的，是一种保护机制。解决方案是，关闭该功能，使用—— -XX:-UseGCOverheadLimit   这里要查看是否有使用大内存的代码或死循环。   Sun官方解释： The parallel / concurrent collector will throw an OutOfMemoryError ...
深入理解 JVM：StackOverFlow、OOM 与 GC overhead limit exceeded 的本质剖析及 Stack 与 Heap 的差异
最新发布
2301_79437276的博客
05-13 866
理解OOM和错误以及Stack与Heap的差异，是 Java 开发者解决内存问题的关键。合理设计方法调用：避免过深的递归调用和多层方法嵌套，确保方法调用逻辑清晰，及时释放不再使用的资源。优化对象管理：及时释放不再使用的对象引用，防止内存泄漏；合理控制对象的创建频率，避免一次性创建过多对象。监控与调优：利用 JVM 提供的监控工具（如jconsoleVisualVM等）实时监控内存使用情况，根据实际需求调整 JVM 参数（如堆内存大小、GC 策略等），优化内存性能。
Java 各种运行内存问题解决
瀚海一叶
03-04 1687
http://www.wallcopper.com/os/319.html Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded问题的解决办法. 一、异常如下：
caused by: java.lang.outofmemory_Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
weixin_29938119的博客
02-28 409
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded2013-02-22Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded问题的解决办法.一、异常如下：Caused by: java.lang.OutOfMemoryError: GC ove...
hive出现java.lang.OutOfMemoryError: GC overhead limit exceeded
fly_time2012的专栏
07-31 2928
最近用sparksession写入hive数据时，但用hive查询统计行数报错了 select count(*) from test_20190417;错误如下： Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number>
hiveserver2运行异常：GC overhead limit exceeded
ImezZ
02-21 2444
记一次hiveserver2服务运行异常问题。 报错信息： java.lang.OutOfMemoryError: GC overhead limit exceeded 解决方法： 修改hive配置文件hive-env.sh。将原来注释的替换成如下配置 # Hive Client memory usage can be an issue if a large number of clients # are running at the same time. The flags below h
spark 2.X 疑难问题汇总
热门推荐
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
java.lang.OutOfMemoryError: GC overhead limit exceeded异常处理
juzi78979的博客
11-14 1573
今天写程序遇到个之前从没遇到的异常-----java.lang.OutOfMemoryError: GC overhead limit exceeded，下面附上解决方法 异常： 解决方法： 鼠标右击项目》》Run as》》Run Configurations》》Arguments》》Program arguments》》-Xmx4096m 这样就把运行内存设置为4G，解决了Out o
Hadoop Namenode启动报错GC overhead limit exceeded
卧龙居
09-28 3233
Hadoop Namenode启动报错： 看起来是fsimage中的节点数目过多，导致的GC Overhead超过限制。Fsimage是namenode维护的重要文件之一，它包含了整个HDFS文件系统的所有目录信息和文件信息。对于文件来说包含了数据块描述信息、修改时间、访问时间等；对于目录来说，包含了修改时间、访问权限控制信息等。 需要用以下命令查看fsimage文件占用的内存大小： ....
20200825-内存泄漏分析-Caused by:java.lang.OutOfMemoryError:GC overhead limit exceeded
u011439259的博客
09-18 843
问题描述： 测试环境财务服务运行一段时间后，无法响应的问题，通过登录服务器，查看日志，发现出现OOM:GC overhead limit exceeded 问题分析： 1、查看应用内存情况 在服务无响应时，使用top -c 查看内存情况 可以看到JVM配置的最大内存是4G，该应用使用的内存远超了最大内存，从这里也可以看出内存溢出了，GC overhead limit exceeded意思是垃圾回收器一直在GC，达到了上限 2、生成应用heap dump文件 先查看应用进程号，然后jmap -dump:f
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
weixin_33841503的博客
05-27 671
2019独角兽企业重金招聘Python工程师标准>>> ...
JVM源码剖析之Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded异常
李哈zzz的博客
08-11 1027
最近在群里看到有一位老哥拿着异常信息到处问，而发生的就是java.lang.OutOfMemoryError: GC overhead limit exceeded异常，恰好看到经常有人询问关于这个异常的问题，如何发生的，要如何解决呢？所以促使我写下这篇文章，此文章分为3大块，出现的原因，如何解决，源码论证。
Tomcat OutOfMemory问题: java.lang.OutOfMemoryError: GC overhead limit exceeded
Mr.Kayson's Blog
09-17 1453
问题 : Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded问题产生原因： 根据 sun 的说法： “if too much time is being spent in garbage collection: if more than 98% of the total time is spent in garbag
java.lang.OutOfMemoryError：GC overhead limit exceeded
陆多多的专栏
02-08 575
最近发现线上邮件发送有异常，时发送时不发送，检查系统发现有OOM这个异常，java.lang.OutOfMemoryError：GC overhead limit exceeded，于是想系统了解下OOM的相关内容： 1.GC日志分析和各个代 Allocation Failure，表示引起垃圾回收的原因。 里面第一个中括号表示新生代的垃圾回收前后变化，外层括号表示整个堆内存变化，包含新生代和老
java.lang.OutOfMemoryError:GC overhead limit exceeded
Anteoy的博客
08-20 1302
前言 在我们写的java service里,需要加载一个比较大的算法模型pmml文件.在此模型文件由500M+变为1G+的时候,在测试环境中出现了此问题 异常由来 GC overhead limt exceed检查是Hotspot VM 1.6定义的一个策略，通过统计GC时间来预测是否要OOM了，提前抛出异常，防止OOM发生。Sun 官方对此的定义是：“并行/并发回收器在GC回收时...
ORC split generation failed with exception: java.lang.OutOfMemoryError: GC overhead limit exceeded
11-25
ORC文件格式是一种高效的列式存储格式，它可以在Hadoop上进行高效的数据处理。当使用ORC文件时，有时会遇到“ORC split generation failed with exception: java.lang.OutOfMemoryError: GC overhead limit exceeded”这样的错误。这个错误通常是由于JVM的垃圾回收器无法及时回收内存导致的。解决这个问题的方法有以下几种： 1.增加JVM的内存限制。可以通过设置JVM参数-Xmx和-Xms来增加JVM的内存限制。例如，将JVM的最大内存限制设置为8GB，最小内存限制设置为4GB，可以使用以下命令： ```shell java -Xmx8g -Xms4g your_program ``` 2.调整ORC文件的分片大小。可以通过调整ORC文件的分片大小来减少内存使用量。可以通过设置mapreduce.input.fileinputformat.split.maxsize参数来调整分片大小。例如，将分片大小设置为128MB，可以使用以下命令： ```shell hadoop jar your_program.jar -Dmapreduce.input.fileinputformat.split.maxsize=134217728 input_path output_path ``` 3.升级ORC文件的版本。可以尝试升级ORC文件的版本，因为新版本的ORC文件可能会更好地处理内存问题。可以使用以下代码来获取ORC文件的版本： ```java public OrcFile.WriterVersion getWriterVersion() { OrcProto.PostScript ps = fileTail.getPostscript(); return (ps.hasWriterVersion() ? OrcFile.WriterVersion.from(ps.getWriterVersion()) : OrcFile.WriterVersion.ORIGINAL); } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值