Hive出现 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTa

hive执行报错的解决方式--bug(1) Query ID = 11102129_20190605160101_98bcf445-eea6-437a-9073-e2394663d618. Total jobs = 1. Launching Job 1 out of 1. Number of reduce tasks not specified. Estimated from input data size: 1099. In order... 阅读详情

return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2018-06-06 23:34:46,458 Stage-1 map = 0%, reduce = 0%
Ended Job = job_1528299123875_0001 with errors
Error during job, obtaining debugging information…
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec
2018-06-06 23:48:09,482 Stage-1 map = 0%, reduce = 0%
2018-06-06 23:49:09,973 Stage-1 map = 0%, reduce = 0%
2018-06-06 23:50:10,388 Stage-1 map = 0%, reduce = 0%
2018-06-06 23:51:10,733 Stage-1 map = 0%, reduce = 0%
2018-06-06 23:52:11,271 Stage-1 map = 0%, reduce = 0%
2018-06-06 23:53:11,424 Stage-1 map = 0%, reduce = 0%
2018-06-06 23:54:11,589 Stage-1 map = 0%, reduce = 0%
2018-06-06 23:55:11,793 Stage-1 map = 0%, reduce = 0%
一直出现这个问题!!!!
 我们都知道,启用MapReduce Job是会消耗系统开销的。对于这个问题,从Hive0.10.0版本开始,对于简单的不需要聚合的类似SELECT 《col》 from 《table》 LIMIT n语句,不需要起MapReduce job,直接通过Fetch task获取数据,可以通过下面几种方法实现:
 解决方法:
 hive》 set hive.fetch.task.conversion=more;
hive》 SELECT id, money FROM m limit 10;
OK
1 122
1 185
1 231
1 292
1 316
1 329
1 355
1 356
1 362
1 364
Time taken: 0.138 seconds, Fetched: 10 row(s)
上面 set hive.fetch.task.conversion=more;开启了Fetch任务,所以对于上述简单的列查询不在启用MapReduce job!
方法二:
bin/hive –hiveconf hive.fetch.task.conversion=more
方法三:
上面的两种方法都可以开启了Fetch任务,但是都是临时起作用的;如果你想一直启用这个功能,可以在${HIVE_HOME}/conf/hive-site.xml里面加入以下配置:《property》
《name》hive.fetch.task.conversion《/name》
《value》more《/value》
《description》
Some select queries can be converted to single FETCH task
minimizing latency.Currently the query should be single
sourced not having any subquery and should not have
any aggregations or distincts (which incurrs RS),
lateral views and joins.
1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
2. more : SELECT, FILTER, LIMIT only (+TABLESAMPLE, virtual columns)
《/description》
《/property》

由于新版本的csdn不太熟练,使用《》 代替<>!

物联网开发笔记(34)- 使用Micropython开发ESP32开发板之控制步进电机(28BYJ-48) 使用Micropython开发ESP32开发板之控制步进电机(28BYJ-48) 阅读详情

相关推荐

基于FFT的阵列方向图快速计算公式推导

因为自己毕设涉及到阵列方向图综合相关知识,最近阅读了关于方向图综合的相关文献,就其中关于使用FFT计算阵列方向图的方法进行了公式推导。 简介: 自从1965年Colley-Tukey发表快速傅里叶变换[1]论文以来,FFT在许多科学技术领域获得了广泛和成功的应用。在阵列信号处理与雷达信号处理领域,随着科技的发展,对于电尺寸较大的相控阵天线,使用公式按照级数求和计算天线阵列方向图的方法效率甚低,...

qq_38151438的博客 4293

hive执行insert语句时报错

错误提示如下: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL resolution...

weixin_30599769的博客 1958

Xilnx大学计划/XUP ZYNQ ZU开发板

TUL PYNQ™-ZU板,基于Xilinx Zynq UltraScale+ MPSoC,是为Xilinx大学项目设计的,以支持Xilinx PYNQ (Python Productivi-ty for Zynq)开源框架和嵌入式系统开发。

weixin_57025922的博客 948

hive实现单词统计

一、前期准备 二、操作步骤 1.在hive下创建一个数据库 ​编辑 2. 在wordcount库下创建一个表 3. 在虚拟机上创建一个文件 4. 将在linux上创建的data文件,上传到新建的hive的worltest表中 5. 进入hive, 查询表wordtest信息 6. 新建一个wordtest1表,只有一列值,用来储存wordtest表数据中的内容 7. 将表wordtest中的数据存放进新建的表wordtest1中 ​编辑8. 查询wordtest1表中的信息 9.

m0_61232019的博客 2142

带挂牵引车倒车运动模型推导及仿真实现

半挂牵引车在倒车时,由于鞍座主销的连接限制,其运动方式与乘用车有显著差异。例如,乘用车在右侧倒车入库时,只需确定泊车起点并将方向盘向右打死。相反,牵引车在倒车时需要先向左转方向盘,当铰接角达到防折叠的临界值时,再将方向盘向右转回,以调整牵引车与挂车至直线状态,完成泊车入库。本研究旨在建立一个基于牵引车带挂车倒车运动学模型,该模型基于以下假设: 道路在车辆行驶过程中保持平坦,无凹凸不平; 车辆以低速行驶,且在运行过程中车身不发生侧倾或俯仰; 行驶过程中,轮胎无变形,无侧向滑动,且不产

jianmo的博客 2697

Camera | 瑞芯微rk3568平台MIPI-CSI驱动:从设备树到V4L2框架的完整链路解析

本文深入解析瑞芯微rk3568平台MIPI-CSI驱动的完整链路,从设备树配置到V4L2框架集成。详细介绍了rk3568的MIPI-CSI驱动架构、设备树关键节点布局、驱动初始化流程及数据流路径,帮助开发者快速掌握摄像头控制器的调试与优化技巧,实现稳定的视频采集系统。

weixin_28703489的博客 291

hive生产实践问题(一)在使用Hive Client跑job时,一直提示job被kill,

然后观察YARN的WebUI进行查看,如图: 然后观察Hive Client的控制台输出,如下: Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there’s no reduce operator Starting Job = job_1552895066408_0001, Tracking URL = htt...

xuxu96 4181

利用随机矩阵理论(random matrix theory)确定微生物网络构建阈值

利用随机矩阵理论(random matrix theory)确定微生物网络构建阈值

微生物生态学分析 7640

Hive mapreduce job报错解决

问题描述:使用beeline连接hiveserver2,将HDFS上的json格式数据导入到一个临时表,然后再通过insert into ... select ...将数据导入正式表中,但在这一步Hive报错,Error信息为:ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 详细报错如下: INFO : Completed compiling command.

涵sir的博客 2637

Dify 从入门到熟悉100 天的学习大纲

理解 Dify 的核心概念,熟悉操作界面,并能创建简单的 AI 应用。祝你在这 100 天的旅程中学有所成,成为一名优秀的 AI 应用开发者!掌握生产环境部署、监控、调优,并关注 Dify 生态和前沿动态。探索多模态、Agent、API 集成、性能优化等高级主题。掌握工作流编排、高级提示词技巧、知识库优化等核心功能。

IT深耕十余载,大道之简 1736

YOLOv11改进策略【Neck】| arXiv 2025 分层多头注意力HMHA 子空间拆分提多样 + 通道重排降冗余,强化目标检测精度

HMHA(Hierarchical Multi-Head Attention,分层多头注意力)旨在解决传统多头注意力(MHA)在图像恢复任务中的核心缺陷——特征冗余。传统MHA将通道均匀拆分给各个头,导致不同头学习的子空间信息相似,进而出现多头关注同一区域、忽略退化区域修复的问题,限制了模型的特征表达能力。HMHA通过“分层子空间拆分+通道重排序”策略,让每个头学习差异化、互补的上下文特征,从根源上缓解冗余,提升图像恢复任务中对复杂退化场景的特征捕捉能力。

Limiiiing的博客 779

执行HiveSql时报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTa”

执行HiveSql时报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=ods_pro, access=EXECUTE, inode="/tmp/hadoop-yarn":dwb_pro:hadoop:drwx------ at org.apache.hadoop.hdfs.server.namenode.FSPermi...

终码一生 4882

【虚幻引擎UE】UE5 仅需6步轻松实现关卡顺滑切换

【虚幻引擎UE】UE5 仅需6步轻松实现关卡切换

灵境引路人 2万+

hive添加数据时出错

Ended Job = job_1545829388777_0070 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapRedu...

youyigebug的博客 821

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

CDH5 中使用HIVE的问题总结 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

1.用创建表的方法导入数据,导入时出现错误 hive> create table t2 as select * from t1; Query ID = hadoop_20150126105050_186f3554-74bb-4388-a324-bf2c8feadb7d Total jobs = 3 Launching Job 1 out of 3 Number of reduce tas

wxzsebastain的博客 3405

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

hive insert into 报Error during job, obtaining debugging information...

Ended Job = job_1644913962386_0020 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-1: HDFS Read: 0 HDFS Write:

跳蛙pass的博客 2142

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

hadoop-错误总结

hadoop-错误总结 本来hadoop实验已经做完,打算把最后一个实验报告写完,就去自习室学习的。没想到啊,没想到~恢复虚拟机的时候slave起不来了~~slave关机重启后,master的hive操作发生了错误!并且已经将所有的服务启动,master的hadoop也关了,重新启动~没用~,最后发现,是两个实例时间不同步,以前都是虚拟机暂停的,所以服务可以使用~。mapreduce errosh

longtails的博客 1425

hive出现内存溢出_hive问题处理

内存溢出Client端内存溢出Client端发生内存溢出执行下面的看是很简单的一条sql语句:hive> select count(1) from test_tb_1_1;Query ID = hdfs_20180802104347_615d0836-cf41-475d-9bec-c62a1f408b21Total jobs = 1Launching Job 1 out of 1Number...

weixin_33581873的博客 9930

hive查询报错误

hive> select ip,time from dataclean; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_1437186236276_0047, Tracking URL

dub_lys的博客 1169

2020-02-25

hive中使用聚合函数总是运行不下去,报错Error during job, obtaining debugging information… FAILED: Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask Map Reduce Jobs Launched:Stage-Stage-1:H...

september001的博客 340

学习Hadoop第三十五课(综合练习)

上节课我们一起学习了自动化采集工具Flume,这节课我们一起来把我们前面学习的知识综合起来,做一个小项目。 第一部分:项目分析         我们要做的小项目是关于黑马训练营的日志分析项目,用到的日志文件大家可以到:http://download.csdn.net/detail/u012453843/9680664这个地址下载。日志文件中的内容如下(仅拿出来两行内容),可以看到一共有5列,每

u012453843的专栏 1967

向parquet存储的使用了动态分区的hive表插入数据时oom

1.异常描述 当运行“INSERT … SELECT”语句向Parquet或者ORC格式的表中插入数据时,如果启用了动态分区,你可能会碰到以下错误,而导致作业无法正常执行。 Hive客户端: Task with the most failures(4): Diagnostic Messages for this Task: Error: GC overhead limit exceeded … FAILED: Execution Error, return code 2 from org.apache.ha

sheisarainbow的博客 613

记录HIve跑MR,AM无法申请资源的问题

以下是运行的日志: Query ID = mac_20190318111010_2d82bbe8-b689-4dcf-adfe-7bf7c742c669 Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there's no reduce operator Starting Jo...

浅汐 1192

Hive性能优化

架构层面优化: l  分表 l  合理利用中间结果集,避免查过就丢的资源浪费,减低Hadoop的IO负载 l  常用复杂或低效函数尽量不用或拆分成其他实现方式,如count(distinct) l  合理设计表分区,静态分区和动态分区 l  优化时一定要把握整体,单个作业最优不如整个作业最优。 l  文件存储格式和压缩方式 l  Hadoop本身的优化 l  有些逻辑,使用系统函数

DataFlow范式 6048

解决hive load local data报FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr

在其他node节点是没有这个文件的,所以把文件分发给其他node节点,或者上次到hdfs不要用local。explain可以看到被划分为四个任务。

weixin_43205308的博客 959

HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)

HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)

知行合一 5770
上一篇: 基于持久化的wordcount程序 foreachRDD
下一篇: flume的配置和开启
JSON_ZJS
博客等级 码龄9年 30粉丝 159原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值