跑hive有时成功有时失败!org.apache.hadoop.hive.ql.exec.mr.MapRedTask

报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因查找 阅读详情


在hadoop日常工作中,本地运行hive有时成功有时失败

遇到FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask异常


排查:

——> 直接在hadoop集群多次测试运行hive,没有出现错误,查询resourcemanage日志,

发现资源分配并无异常,根据job的id号追踪到datanode,日志显示也没有异常信息。

排除集群环境出错的情况。


——>      换台本地机器多次测试,也没有出现错误,所以问题出在出错的本地机器上。


——>      再次在本地测试跑hive语句,根据job的id号到集群服务器上查看,也没有异常,但是本地机器界面却显示错误,无法跑mr。

经再次排查:

原来是最近hadoop集群新增加了不少datanode节点服务器,而esourcemanager都是通过

域名来管理资源。当然集群上的每台服务器都通过salt同步过了,但有些同事的本地host环境并未添加

相关域名ip转换,所以当用hive提交任务时候,提交上去了,集群里在跑并把job分配给了新增加的

datanode,本地解析不了该域名,报错;如果集群resourcemanager把job分配到了原来老的datanode上,

本地能解析就显示正常。这也是为什么hive会有时候成功有时候失败。


解决办法:如有动态新增节点时,不仅同步集群的host环境,并提示各操作同事本地也同步一下。




Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析 Hive Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析 1. 背景 使用hive过程中,遇到问题有时候信息不是很足够,这时候就需要去想办法查看错误信息。而这类服务器框架的错误信息一般都存放在日志中 hive的日志不设置的话,默认存放在/tmp下当前用户所在目录,本文演示是root用户,所以文件存放在tmp文件夹下的root目录下/tmp/root 已经按照日期和时间进行存储,查看最 阅读详情

相关推荐

Hive提交任务FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Query ID = root_20191114010024_e70138f9-544a-4cd7-86a1-58fd1054cd6a Total jobs = 2 Launching Job 1 out of 2 Number of reduce tasks not specified. Estimated from input data size: 1 In order to change ...

乔治大哥的博客 1813

HQL错误:cannot be cast to org.apache.hadoop.hive.ql.exec.persistence.MapJoinTableContainerDirectAccess

Job failed with java.lang.ClassCastException: org.apache.hadoop.hive.ql.exec.persistence.HashMapWrapper cannot be cast to org.apache.hadoop.hive.ql.exec.persistence.MapJoinTableContainerDirectAccess

jackfeng86的专栏 3058

【Android】条形码/二维码扫描——ZXing源码分析

正在更新中 针对3.2.1版本源码 与其他版本代码可能会有出入,但核心思想基本不变。 首先从com.google.zxing.client.android包中的目录结构分析:Book:这个文件夹中有5个类: BrowseBookListener 实现了adapter的点击事项响应,通过获取ISBN,然后跳转到Google books中查询响应的详细信息。 SearchBookContents

年轻的学徒 2453

HQL 报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误解决方案

执行一段HQL之后,报了如下错误 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas 此错误只能通过yarn 日志进行查看,通过查看发现报OOM,解决OOM问题不能单纯增加计算空间,比如MAP以及REDUCE计算空间。 我们首先看一下日志错误阶段, 通过日志观察实在STAGE2阶段的map阶段就报错,并没有到REDUCE阶段。 那我们就可以来看看这段SQL explain 执行计划,

老姜的数据江湖 1万+

CMap与L1000技术解析:基因表达数据在药物发现中的应用

本文深入解析了CMap(连接图)与L1000技术在药物发现中的核心应用。CMap通过构建基因表达“关系网”,实现基于模式匹配的药物重定位;L1000技术则以低成本、高通量方式生成关键基因表达数据,支撑了LINCS超级数据库。文章以CLUE平台为例,手把手演示了如何利用疾病基因表达签名逆向筛选潜在治疗化合物,并拓展了其在解析药物机制、预测副作用等多场景下的价值。

weixin_29207533的博客 728

中国国家级地面气象站基本气象要素日值数据集(V3.0)

气温数据TEM, 包括站点编号(sid), 纬度(lat), 经度(long), 高程(elev), 年(year), 月(month),日(day), 平均气温(tmean), 最高气温(tmax), 最低气温(tmin)气压数据PRS, 包括站点编号(sid), 纬度(lat), 经度(long), 高程(elev), 年(year), 月(month),日(day), 平均气压(pmean), 最高气压(pmax), 最低气压(pmin)中国国家级地面气象站基本气象要素日值数据集(V3.0)

J_Giser的博客 3894

hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

hive报错Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

weixin_48874360的博客 6万+

电子元器件-三极管终终篇:三极管工作原理详解、参数/手册详解、开关应用详解、Ib电流研究、开关应用实例

三极管工作原理与应用摘要 三极管是一种电流控制器件,通过小基极电流控制大集电极电流。其内部结构由高掺杂发射区、薄低掺杂基区和中等掺杂集电区组成,形成NPN或PNP结。三极管有三种工作状态: 截止区:发射结和集电结均反偏,无放大作用 放大区:发射结正偏,集电结反偏,Ic=βIb 饱和区:两结均正偏,Ic不再随Ib增大 作为开关使用时,需确保三极管深度饱和(Vce≈0.2V)。设计要点包括: 基极电阻计算确保Ib足够大 集电极电阻控制Ic 基极加下拉电阻提高抗干扰 NPN管作地开关,PNP管作电源开关 典型应用

qq_60226558的博客 312

hive报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

这里写自定义目录标题新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 问题一: 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下M

m1913843179的博客 1万+

Xilinx DDR3 MIG IP核设计--汇总导航

快速上手Xilinx DDR3 IP核----汇总篇

孤独的单刀 2万+

交换机端口模式详解:Access、Hybrid、Trunk

交换机是网络中至关重要的组件之一,用于连接各种设备并启用数据的高效流动。为了更好地管理和控制网络流量,交换机提供了不同的端口模式,其中包括Access、Hybrid和Trunk。本文将深入探讨这三种端口模式,详细解释它们的配置、特性和应用场景,以帮助网络管理员更好地理解和优化网络架构。

网络技术联盟站 4015

hive join操作踩坑记-报错信息FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr...

#Hive join操作踩坑记 事件经过 使用hive join操作时,肉眼可见同样的操作用时越来越长,同样的操作用时从一百多秒直接飙升到三四百秒,并且有时运行时汇报出错误信息 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)。通过jobhistoryserver的记录显示一些reduce task运行失败了,报错信息为There are

weixin_44528131的博客 3186

Spring AI从入门到精通:构建智能Spring应用的全面指南

随着人工智能技术的快速发展,将大语言模型(LLM)与企业应用集成已成为趋势。Spring AI作为Spring官方推出的AI集成框架,为开发者提供了便捷、标准化的方式来构建智能应用。本文将从基础概念到高级应用,全面介绍Spring AI的核心功能与实践技巧。Spring AI 是 VMware 于 2023 年推出的开源框架,旨在简化大语言模型(LLM)与 Spring 应用的集成。它提供了统一的 API 抽象,支持多种 LLM 供应商,包括 OpenAI、Azure OpenAI、Hugging Face

qq_36929638的博客 1069

在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错

运行Tez时检查到用过多内存而被NodeManager杀死进程问题 设置hive的执行引擎

m0_74756715的博客 1万+

LIS2DH三轴加速度传感器原理图设计,已量产(加速度传感器)

最近在做一款可穿戴设备原型时,选了 LIS2DH 这款加速度计 —— 比起之前常用的 ADXL345,它在低功耗和稳定性上的优化刚好戳中了可穿戴设备 “续航 + 可靠” 的核心需求。下面结合这次画的原理图,聊聊这个小模块的硬件设计细节。

不脱发的程序猿 389

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

hive问题-return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

执行hive sql时遇到问题: FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个其实一般是个hive内部错误,处理这个问题就需要找日志了; 找日志 hive.log(比较简略) hive.log ===> 缺省情况下 /tmp/root/hive.log (不然就在你hive-site.conf配置的日志路径里) 我这里在/tmp/root目录下 去里面看了日志,没

erainm 1万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

集群模式下执行HQL提示`Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask`

回忆录

weixin_45389898的博客 826

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Hive报错:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce

最近在做hive练习题时使用hive查询报错 Hadoop job information for Stage-3: number of mappers: 0; number of reducers: 0 2021-05-18 19:23:54,652 Stage-3 map = 0%, reduce = 0% Ended Job = job_1621330130219_0008 with errors Error during job, obtaining debugging information…

北慕辰的博客,欢迎各位大佬光临!! 4500

记一次hive查询语句报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

hive版本:1.2.1 执行过程:登录hive,执行查询语句: hive> use test01 > ; OK Time taken: 0.894 seconds hive> select * from employee a left join employee b on a.eud=b.eud; 之后报错信息如下: 登录提示URL查看详情: 看样子问题...

lcm_linux的博客 2104

[DONE] Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask的一种出错原因解析并解决

声明 首先声明,此文章解决的是因各个节点中yarn-site.xml配置冲突而产生的问题,如果非此原因,请珍惜宝贵时间! 问题说明 在执行hive insert时候,出现了如下错误 hive (default)> select * from emp order by sal; ... 2019-04-09 09:56:49,924 Stage-1 map = 0%, reduce = ...

pre_tender的博客 1326

Hive问题:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

hive执行过程中报错,抓重点(黄色): 2019-02-01 09:56:54,623 ERROR [pool-7-thread-4] dao.IHiveDaoImpl - java.sql.SQLException: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED...

weixin_30247307的博客 619

CDH5 中使用HIVE的问题总结 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

1.用创建表的方法导入数据,导入时出现错误 hive> create table t2 as select * from t1; Query ID = hadoop_20150126105050_186f3554-74bb-4388-a324-bf2c8feadb7d Total jobs = 3 Launching Job 1 out of 3 Number of reduce tas

wxzsebastain的博客 3405

Hive查询报错:FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

在Linux命令行中泡HiveSQL统计行数,但每次统计出来都为0,后来发现是查询语句压根就没执行。

qq_20181263的博客 1431

hive 插入数据,insert后报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Ma

hive 插入数据的时候,不能直接运行,报错。 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

m0_62783212的博客 2211

HIVE报错:ERROR:FAILED:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapReduce

执行Hive卡死或报错: INFO : Query ID = hive_20190910180101_f63579a5-ee9a-4ab3-87a7-2c9fb7c1a7ab INFO : Total jobs = 5 INFO : Starting task [Stage-38:CONDITIONAL] in serial mode INFO : Stage-1 is selecte...

李指导的博客 2476

一次hive reduce oom 处理:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

问题: hive job失败,现象reduce失败,起了新的reduc而后还是失败,最终job失败 错误: 2017-06-07 16:43:20 INFO Examining task ID: task_*** (and more) from job job_*** 2017-06-07 16:43:21 INFO FAILED: Execution Error, return code

架构师思考实践 1万+
上一篇: ubuntu修改启动为文本模式
下一篇: 搭建hadoop-2.6.0分布式集群
撸依天
博客等级 码龄18年 10粉丝 105原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

撸依天

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值