HQL 报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误解决方案

最新推荐文章于 2025-05-08 16:16:03 发布
最新推荐文章于 2025-05-08 16:16:03 发布
阅读量1.4w 收藏 13
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hive hadoop apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wei_bigdata/article/details/121115566

执行一段HQL之后，报了如下错误

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

此错误只能通过yarn 日志进行查看，通过查看发现报OOM，解决OOM问题不能单纯增加计算空间，比如MAP以及REDUCE计算空间。
我们首先看一下日志错误阶段，
本第报错日志通过日志观察实在STAGE２阶段的map阶段就报错，并没有到REDUCE阶段。
那我们就可以来看看这段SQL explain 执行计划，计划如下图
expalin执行计划发现第

最低0.47元/天 解锁文章

200万优质内容无限畅学
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
qq_37647812的博客
03-26 2700
hive数据迁移过程中遇到的问题和解决方法
二百二十一、Hive——HQL报错：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
tiantang2renjian的博客
01-30 1177
Hive——HQL报错：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Execution Error,return code 2 from org.apache.haddop.hive.ql.exec.mr.MapRedTask解决办法
chongjiapi1753的博客
10-22 1124
insert overwrite table XX 1.建表后修改过表结构（增删字段等）后，重新加载数据时报return code2错，元数据和数据文件不匹配导致 解决办法：重建一张新表； 2.解决办法：修改表结构时加cascade 3.若排查定位是内存不足，则到资源充足的库新建...
Hive处理大量数据时return code 2报错
最新发布
2401_87126902的博客
05-08 356
我的表里有大量的数据，大概几万行，大概在执行groupby时出错的，问了AI，AI给出的解决方案没有能用的。。。需要改成自己的路径。当然也可以直接问AI，更方便。明显的，即Java堆内存不足，由于我的作业是在本地模式下运行的 (Job running in-process (local Hadoop) 和日志中的 mapred.LocalJobRunner)，这意味着MapReduce作业是在Hive客户端所在的同一个JVM进程中模拟执行的，这个JVM进程没有足够的堆内存来处理数据。
hive -- return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
kismet
11-20 3585
异常： Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2) 查看日志信息： 原因，没有开启Metastore， 解决方法：开启Metastore，...
return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
坐忘峰
08-21 3万+
环境：Hadoop2.8.0、Hive1.2.2，一共三台服务器，master是8G内存，两个slaver是4G内存（很寒酸），在Hive的命令行中执行count(*)和insert的时候总是报错，比如执行select count(*)的时候报“return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”错误。很显然这个不是...
关于return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误
liulang12580的博客
07-25 3万+
1.解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误 在启动hive后，使用select查询语句进行查询时，爆出如下错误： INFO  : Number of reduce tasks determined at compile time: 1 INFO  : In order to change
hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
热门推荐
weixin_48874360的博客
06-28 6万+
hive报错Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811
寒夜二十五
05-28 1096
hive sql在跑的时候可能会出现下面的问题： return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811 (state=08S01,code=1) 会报一个job名字长度超出限制的问题： 解决方法： set hive.jobname.length=10; 这里引用以为博主的例子，原文可以去这里查看 hiv..
HQL报错：Error: Java heap space Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
IT Baicn的博客
01-15 1094
一 错误 Starting Job = job_1547323088343_0010, Tracking URL = http://hadoop01:8088/proxy/application_1547323088343_0010/ Kill Command = /home/hadoop/install/hadoop-2.5.0-cdh5.3.6//bin/hadoop job -kill j...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
07-29
至于你提到的另一个错误"FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)"，这个错误信息表明在执行Hive的MapReduce任务时出现了错误。...
hive问题-return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
erainm
09-23 1万+
执行hive sql时遇到问题： FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个其实一般是个hive内部错误，处理这个问题就需要找日志了； 找日志 hive.log(比较简略) hive.log ===> 缺省情况下 /tmp/root/hive.log (不然就在你hive-site.conf配置的日志路径里) 我这里在/tmp/root目录下 去里面看了日志，没
在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错
m0_74756715的博客
11-04 9802
运行Tez时检查到用过多内存而被NodeManager杀死进程问题 设置hive的执行引擎
CDH hive聚合操作报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
小蚯蚓的博客
07-05 6850
一、问题描述 Hive的shell命令下，执行count(*)的聚合操作，结果报错： Ended Job =job_1561339819051_0474 with errors Error during job,obtaining debugging information ... FAILED : Execution Error, return code 2 from org.apache...
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析
xiaohu21的博客
09-04 4万+
Hive Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析 1. 背景 使用hive过程中，遇到问题有时候信息不是很足够，这时候就需要去想办法查看错误信息。而这类服务器框架的错误信息一般都存放在日志中 hive的日志不设置的话，默认存放在/tmp下当前用户所在目录，本文演示是root用户，所以文件存放在tmp文件夹下的root目录下/tmp/root 已经按照日期和时间进行存储，查看最
HIVE报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask
m0_56341622的博客
09-23 6050
这些方法可以根据不同的情况尝试，以解决 Hive 执行错误的问题。如果问题依然存在，建议查看 Hive 日志获取更详细的错误信息。这些方法可以根据不同的情况尝试，以解决 Hive 执行错误的问题。： 如果是因为内存溢出，可以在运行 SQL 命令前设置 MapReduce 的内存参数。： 确保插入数据的类型与目标表的列类型匹配，并且表结构是一致的。： 如果是因为分区数量太多，可以设置动态分区的相关参数。： 如果集群资源不足，可以考虑增加资源或者优化资源分配。： 如果是因为版本不兼容，建议查看兼容表确认。
求助，FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
起早贪黑写bug
05-02 284
在执行hive sql的过程中发现报错如下 Ended Job = job_1617789732059_139915 with errors Error during job, obtaining debugging information... Examining task ID: task_1617789732059_139915_m_000000 (and more) from job job_1617789732059_139915 Task with the most failures(4):
hive报错return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
一个技术迷的博客
01-04 1934
场景：计算一年中每一天的数据，每一天的取值是前一年或者半年的平均值，所以我有两张临时表，第一张存放主体的一年中每一天的数据，第二张存放主体近两年的每一天对应的数据，第一张表左连接第二张表，这样子进行窗口函数计算即可。 select h1.*,h3.volume,h3.vwap, avg(h3.turnoverval)over(PARTITION by h1.TRADINGITEMID order by h1.natualday asc rows BETWEEN 364 PRECEDING and
Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
BIG BOSS的博客
09-17 667
hive运行查询语句时报错： Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at or...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值