记一次Hive 行转列 引起的GC overhead limit exceeded

最新推荐文章于 2024-08-09 17:04:25 发布
原创 最新推荐文章于 2024-08-09 17:04:25 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hive #omm

在处理大量数据时,Hive语句执行遇到GCOverheadLimitExceeded错误。通过调整map和reduce端内存设置至2048MB,成功解决了OOM问题。

在一次hive语句进行行转列操作的时候,几千万的数据量发生了omm, GC overhead limit exceeded. omm
去网上查找了一下,判断是自己给map端和reduce端的内存太小了,才导致的omm,所以增加map端和reduce端的内存就好了.直接在客户端设置一下.

hive> set mapreduce.map.memory.mb=2048;
hive> set mapreduce.reduce.memory.mb=2048;

再次执行,执行成功.

参考:记一次Hive Multi Insert 引起的GC overhead limit exceeded

hiveserver2运行异常：GC overhead limit exceeded
ImezZ
02-21 2490
记一次hiveserver2服务运行异常问题。 报错信息： java.lang.OutOfMemoryError: GC overhead limit exceeded 解决方法： 修改hive配置文件hive-env.sh。将原来注释的替换成如下配置 # Hive Client memory usage can be an issue if a large number of clients # are running at the same time. The flags below h
hive Error: GC overhead limit exceeded
柔情岁月的博客
03-26 4507
+ hive -e 'use trainschain;insert overwrite table dwd_acct_settlecore_clear_mer_detail_h_d partition (dp,end_date) select id,mer_clear_no,merchant_no,account_evidence_no,product,transaction_no,paymen...
hive sql性能调优参数设置
飞翔的牛
03-11 1838
set hive.map.aggr=true; set hive.optimize.skewjoin=true; set hive.groupby.skewindata=true; set hive.optimize.skewjoin=true; set hive.map.aggr=true; set mapred.child.java.opts=-Xmx8000m; set mapreduce...
hive任务报Error: GC overhead limit exceeded
weixin_48336761的博客
07-06 1311
hive的调度任务突然报Error: GC overhead limit exceeded。-XX:+UseConcMarkSweepGC：启用并发标记清除垃圾回收器。-Xmx：设置JVM的最大堆大小。1. 改写SQL代码 ，不在讨论范围。2.优化Java虚拟机。
hive：记录一次因 inner join引起的GC overhead limit exceeded
qq_38294275的博客
04-22 707
文章目录一、问题现象二、分析思路三、排查验证1、排查范围2、验证数据质量问题3、猜想验证四、得出结论五、未完待续 一、问题现象 1、多表关联，其中主表与从表1为：inner join 关系； 2、该 SQL 语句在 MySQL 上能正常执行； 3、在Hive上执行时，则会出现GC overhead limit exceeded 导致无法正常执行； SELECT 字段1 ,字段2 ... ,字段N FROM -- 511298 INNER JO
(sqoop) GC overhead limit exceeded问题、内存溢出
weixin_72093863的博客
06-23 592
使用sqoop将MySQL数据导入到Hive中出现的GC overhead limit exceeded 垃圾回收时间过长问题的解决
HIVE SQL运行内存溢出OOM（MR/TEZ）：java.lang.OutOfMemoryError: GC overhead limit exceeded
wangkuangood3200的专栏
02-03 4439
【现象】 今天用户反馈运行HQL作业失败，报OOM，于是来排查该问题 查看tez，intialmap大量失败，重试失败。 进入具体一个task，报错指向OOM，溢出原因是在单个map中产生大量对象导致。 HQL语句查询借据号——逾期金额信息，借据号重复率低，导致map维护key（借据号）-value（逾期金额信息）的内存超过了JVM配置的map进程内存大小限制，从而内存溢出。 【原因】 对于group by语句，在MR中，当数据量很大，且没有map聚合时，所有的记录将会被..
Hadoop运行离线任务，Hive跑MR任务时候，出现Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
wunanliu的采坑日记
03-29 5197
一、首先抛出异常问题 二、引发问题原因： 表连接，左表数据100W，右表数据 300W，进行左右表进行表关联，进行Count进行数据统计，等待运行结果！！！ 分析问题，查看上述运行流程，即可了解上述异常，查看详细日志信息，URL：即可见到首页出现的问题 三、查看页面可见，有如下图片 四、由上图和图一可知，此MR程序为 Map端出错，出错程序问题问 内存不足，初步怀疑为 Ma...
HiveServer2 OOM：GC overhead limit exceeded
weixin_55842692的博客
12-14 1987
hiveserver2运行时报错现象：GC overhead limit exceeded 原因：hiveserver2的堆内存太小了 解决：修改配置文件 $HIVE_HOME/conf/下修改： 将配置文件的template后缀去掉： mv hive-env.sh.template hive-env.sh 修改： vim hive-env.sh 找到export HADOOP_HEAPSIZE=1024，放开注释： 如果1024还报GC overhead limit exce
hive报错Error: GC overhead limit exceeded
张不帅
08-23 3568
事故缘由 根据yarn上资源使用情况,发现集群的内存,cpu,核数都正常,但是数据导入任务执行 88%后,就出现 GC overhead limit exceeded , 根据生成的执行日志,发现数据导入只有map 任务,数据量级别在几千万的数据量 设置jvm参数 set mapred.child.java.opts=-Xmx8000m; set mapreduce.map.java.opts=-Xmx8096m; set mapreduce.reduce.java.opts=-Xmx8096m; set
解决hive报hdfs exceeded directory item limit错误
05-08
hive报hdfs exceeded directory item limit错误，是由于每次任务失败或者异常退出会造成存在HDFS上的临时目录不自动删除，HDFS目录文件数达到上限，可以脚本清理旧的无用目录解决
[1217]org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded
周小董
08-06 1223
注意：因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。mapreduce.{map|reduce}.java.opts能够通过Xmx设置JVM最大的heap的使用，一般设置为0.75倍的memory.mb，因为需要为java code等预留些空间。参数的值自己可调，根据自己的需要设置就好。
解决 Hive 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
想练武，就得下功夫
07-06 1099
解决 Hive 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
Hive解决数据倾斜问题（GC overhead limit exceeded）的有效办法。
05-20 1717
原因分析：在执行hive shell的时候map任务阶段执行到99%，而reduce节点只执行到33%人后就出现了上面的错误。 自我解释： （1）上面的情况说明，在map阶段执行结束的时候，当垃圾回收器在回收map阶段所产生的对象，因为数据倾斜的原因所导致对象过大，所以不能...
记录一次HiveSQL执行中发生 GC overhead limit exceeded的解决过程
fs545454的博客
10-16 1074
既然这样，那就关掉Hive默认开启的Combine，让一个map处理一个parquet文件，再给他6G的内存，这样应该是万无一失了。果然sql执行成功，看来就是因为parquet文件太大，导致需要大量内存，而默认combine的开启无疑会雪上加霜，几个parquet文件加起来需要超级大的内存。真是令人头疼，既然加内存不管用，那就试着将map数量增多，每个map处理的数据量少了，应该就能解决了。默认情况下，map和reduce阶段的内存都设置为2G（一般情况下都是够用的），运行一段时间后报错。
Hive Multi Insert 引起的GC overhead limit exceeded
yjgithub的博客
10-10 1845
因为使用Multi Insert 导致的GC
hive脚本报错，mark【 Error: Exceeded limits on number of counters - Counters=120 Limit=120】
chushang0934的博客
09-14 362
[2013-02-25 14:54:00.372]Hadoop job information for Stage-1: number of mappers: 25; number of reducers: 50 [2013-02-25 14:54:00.377] o...
GC overhead limit exceeded问题解决
最新发布
tttalk的博客
08-09 1万+
最终结果：16（id）+ 24（create_time）+ 24（modify_time）+ 48（name）+16（age）+88（address）+ 40（height）+ 40（weight）+ 64（phone）= 360字节。一个字符占2个字节。是因为在Java虚拟机中，对象的内存布局是按照一定的规则进行排列的，这种排列方式叫做对象对齐，它的占用内存一般为8个字节的整数倍。但是，请注意，这还没有包括Java对象头的开销，也没有考虑JVM的内存对齐要求（即对象大小可能需要是8的倍数）。
Hive使用动态分区向表插入数据报错java heap space或者GC overhead limit exceeded
FlatTiger的博客
11-23 3179
问题描述 今天使用hive动台分区向表插入数据时，一直报错java heap space或者GC overhead limit exceeded。排查了好久，发现以下问题。 1.表使用的是parquet存储格式（或者ORC）。 2.虽然数据量很小，但是分区比较多。 hive在进行多分区操作时，只启动map端任务，不启动reduce，再加上parquet格式的表会为每一个分区创建一个FileWriter，分区太多就会导致内存溢出。 解决方案 1.首先确定开启了动态分区和非严格模式。 set hive.exec
hive GC overhead limit exceeded
03-06
"Hive GC overhead limit exceeded"是指在使用Hive时，Java虚拟机（JVM）的垃圾回收（GC）过程超出了预设的限制。这个错误通常发生在Hive查询处理大量数据时，导致垃圾回收占用了过多的CPU时间而无法完成。 这个问题的解决方法有以下几种： 1. 增加JVM的堆内存大小：可以通过调整Hive的配置文件hive-site.xml中的hive.heapsize参数来增加堆内存大小。增加堆内存可以提高垃圾回收的效率，减少GC overhead limit exceeded错误的发生。 2. 优化Hive查询：可以通过优化Hive查询语句、使用分区表、合理设置索引等方式来减少查询过程中的数据量，从而减少垃圾回收的负担。 3. 增加JVM的垃圾回收参数：可以通过调整JVM的垃圾回收参数来提高垃圾回收的效率。例如，可以增加-Xmx参数来增加最大堆内存大小，增加-XX:MaxGCPauseMillis参数来减少垃圾回收的停顿时间等。 4. 升级Hive版本：有时候，GC overhead limit exceeded错误可能是由于Hive版本中存在的bug导致的。升级到最新版本的Hive可能会修复这个问题。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值