记一次Hive 行转列 引起的GC overhead limit exceeded

最新推荐文章于 2024-08-09 17:04:25 发布
最新推荐文章于 2024-08-09 17:04:25 发布
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 hive 文章标签： 大数据 hive omm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a904364908/article/details/103225504
在处理大量数据时,Hive语句执行遇到GCOverheadLimitExceeded错误。通过调整map和reduce端内存设置至2048MB,成功解决了OOM问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在一次hive语句进行行转列操作的时候,几千万的数据量发生了omm, GC overhead limit exceeded. omm
去网上查找了一下,判断是自己给map端和reduce端的内存太小了,才导致的omm,所以增加map端和reduce端的内存就好了.直接在客户端设置一下.

hive> set mapreduce.map.memory.mb=2048;
hive> set mapreduce.reduce.memory.mb=2048;

再次执行,执行成功.

参考:记一次Hive Multi Insert 引起的GC overhead limit exceeded

hiveserver2运行异常：GC overhead limit exceeded
ImezZ
02-21 2456
记一次hiveserver2服务运行异常问题。 报错信息： java.lang.OutOfMemoryError: GC overhead limit exceeded 解决方法： 修改hive配置文件hive-env.sh。将原来注释的替换成如下配置 # Hive Client memory usage can be an issue if a large number of clients # are running at the same time. The flags below h
hive Error: GC overhead limit exceeded
柔情岁月的博客
03-26 4469
+ hive -e 'use trainschain;insert overwrite table dwd_acct_settlecore_clear_mer_detail_h_d partition (dp,end_date) select id,mer_clear_no,merchant_no,account_evidence_no,product,transaction_no,paymen...
hive sql性能调优参数设置
飞翔的牛
03-11 1812
set hive.map.aggr=true; set hive.optimize.skewjoin=true; set hive.groupby.skewindata=true; set hive.optimize.skewjoin=true; set hive.map.aggr=true; set mapred.child.java.opts=-Xmx8000m; set mapreduce...
hive任务报Error: GC overhead limit exceeded
weixin_48336761的博客
07-06 1241
hive的调度任务突然报Error: GC overhead limit exceeded。-XX:+UseConcMarkSweepGC：启用并发标记清除垃圾回收器。-Xmx：设置JVM的最大堆大小。1. 改写SQL代码 ，不在讨论范围。2.优化Java虚拟机。
hive：记录一次因 inner join引起的GC overhead limit exceeded
qq_38294275的博客
04-22 655
文章目录一、问题现象二、分析思路三、排查验证1、排查范围2、验证数据质量问题3、猜想验证四、得出结论五、未完待续 一、问题现象 1、多表关联，其中主表与从表1为：inner join 关系； 2、该 SQL 语句在 MySQL 上能正常执行； 3、在Hive上执行时，则会出现GC overhead limit exceeded 导致无法正常执行； SELECT 字段1 ,字段2 ... ,字段N FROM -- 511298 INNER JO
HIVE SQL运行内存溢出OOM（MR/TEZ）：java.lang.OutOfMemoryError: GC overhead limit exceeded
wangkuangood3200的专栏
02-03 4348
【现象】 今天用户反馈运行HQL作业失败，报OOM，于是来排查该问题 查看tez，intialmap大量失败，重试失败。 进入具体一个task，报错指向OOM，溢出原因是在单个map中产生大量对象导致。 HQL语句查询借据号——逾期金额信息，借据号重复率低，导致map维护key（借据号）-value（逾期金额信息）的内存超过了JVM配置的map进程内存大小限制，从而内存溢出。 【原因】 对于group by语句，在MR中，当数据量很大，且没有map聚合时，所有的记录将会被..
spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded
热门推荐
sigurwang的博客
07-15 1万+
此次异常是在集群上运行的spark程序日志中发现的。由于这个异常导致sparkcontext被终止，以致于任务失败： 出现的一些原因 参考：GC overhead limit exceeded java.lang.OutOfMemoryError有几种分类的，这次碰到的是java.lang.OutOfMemoryError: GC overhead limit exceeded，下面就来说说这种类型的内存溢出。 简单来说，java.lang.OutOfMemoryError: GC overhead li
Hadoop运行离线任务，Hive跑MR任务时候，出现Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
wunanliu的采坑日记
03-29 5154
一、首先抛出异常问题 二、引发问题原因： 表连接，左表数据100W，右表数据 300W，进行左右表进行表关联，进行Count进行数据统计，等待运行结果！！！ 分析问题，查看上述运行流程，即可了解上述异常，查看详细日志信息，URL：即可见到首页出现的问题 三、查看页面可见，有如下图片 四、由上图和图一可知，此MR程序为 Map端出错，出错程序问题问 内存不足，初步怀疑为 Ma...
HiveServer2 OOM：GC overhead limit exceeded
weixin_55842692的博客
12-14 1955
hiveserver2运行时报错现象：GC overhead limit exceeded 原因：hiveserver2的堆内存太小了 解决：修改配置文件 $HIVE_HOME/conf/下修改： 将配置文件的template后缀去掉： mv hive-env.sh.template hive-env.sh 修改： vim hive-env.sh 找到export HADOOP_HEAPSIZE=1024，放开注释： 如果1024还报GC overhead limit exce
hive报错Error: GC overhead limit exceeded
张不帅
08-23 3442
事故缘由 根据yarn上资源使用情况,发现集群的内存,cpu,核数都正常,但是数据导入任务执行 88%后,就出现 GC overhead limit exceeded , 根据生成的执行日志,发现数据导入只有map 任务,数据量级别在几千万的数据量 设置jvm参数 set mapred.child.java.opts=-Xmx8000m; set mapreduce.map.java.opts=-Xmx8096m; set mapreduce.reduce.java.opts=-Xmx8096m; set
解决hive报hdfs exceeded directory item limit错误
05-08
hive报hdfs exceeded directory item limit错误，是由于每次任务失败或者异常退出会造成存在HDFS上的临时目录不自动删除，HDFS目录文件数达到上限，可以脚本清理旧的无用目录解决
[1217]org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded
周小董
08-06 1149
注意：因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。mapreduce.{map|reduce}.java.opts能够通过Xmx设置JVM最大的heap的使用，一般设置为0.75倍的memory.mb，因为需要为java code等预留些空间。参数的值自己可调，根据自己的需要设置就好。
解决 Hive 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
想练武，就得下功夫
07-06 962
解决 Hive 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
Hive解决数据倾斜问题（GC overhead limit exceeded）的有效办法。
05-20 1702
原因分析：在执行hive shell的时候map任务阶段执行到99%，而reduce节点只执行到33%人后就出现了上面的错误。 自我解释： （1）上面的情况说明，在map阶段执行结束的时候，当垃圾回收器在回收map阶段所产生的对象，因为数据倾斜的原因所导致对象过大，所以不能...
记录一次HiveSQL执行中发生 GC overhead limit exceeded的解决过程
fs545454的博客
10-16 984
既然这样，那就关掉Hive默认开启的Combine，让一个map处理一个parquet文件，再给他6G的内存，这样应该是万无一失了。果然sql执行成功，看来就是因为parquet文件太大，导致需要大量内存，而默认combine的开启无疑会雪上加霜，几个parquet文件加起来需要超级大的内存。真是令人头疼，既然加内存不管用，那就试着将map数量增多，每个map处理的数据量少了，应该就能解决了。默认情况下，map和reduce阶段的内存都设置为2G（一般情况下都是够用的），运行一段时间后报错。
Hive Multi Insert 引起的GC overhead limit exceeded
yjgithub的博客
10-10 1819
因为使用Multi Insert 导致的GC
hive脚本报错，mark【 Error: Exceeded limits on number of counters - Counters=120 Limit=120】
chushang0934的博客
09-14 349
[2013-02-25 14:54:00.372]Hadoop job information for Stage-1: number of mappers: 25; number of reducers: 50 [2013-02-25 14:54:00.377] o...
GC overhead limit exceeded问题解决
最新发布
tttalk的博客
08-09 1万+
最终结果：16（id）+ 24（create_time）+ 24（modify_time）+ 48（name）+16（age）+88（address）+ 40（height）+ 40（weight）+ 64（phone）= 360字节。一个字符占2个字节。是因为在Java虚拟机中，对象的内存布局是按照一定的规则进行排列的，这种排列方式叫做对象对齐，它的占用内存一般为8个字节的整数倍。但是，请注意，这还没有包括Java对象头的开销，也没有考虑JVM的内存对齐要求（即对象大小可能需要是8的倍数）。
Hive 动态分区向表插入数据报错 GC overhead limit exceeded （分区过多场景）
weixin_43864336的博客
11-16 1604
hive 报错 动态分区 数据量很小，但是分区比较多的情况可以适用下面参数–启用自动排序参数，强制产生reduce任务。
hive GC overhead limit exceeded
03-06
"Hive GC overhead limit exceeded"是指在使用Hive时，Java虚拟机（JVM）的垃圾回收（GC）过程超出了预设的限制。这个错误通常发生在Hive查询处理大量数据时，导致垃圾回收占用了过多的CPU时间而无法完成。 这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值