Hive Job status not available

最新推荐文章于 2024-06-20 16:36:33 发布
原创 最新推荐文章于 2024-06-20 16:36:33 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分析了一种Hive查询返回非零代码的问题，探讨了jobclient请求作业状态时出现的异常情况，即applicationmaster已完成作业处理，但在向jobhistoryserver请求最终状态时发生错误。文章详细记录了该错误的具体信息及日志中的异常提示。
部署运行你感兴趣的模型镜像

收到的报警信息：

Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, errorCode:1, SQLState:08S01)


原因：job client请求作业状态时，application master 已经完成对应作业的处理，向job history server请求job的最终状态时报错。

判断结果的信息： 作业请求的APPid=application_1484909935899_200328 ， finalstatus是success, 但是在tracking URL中显示 Not Found: job_1484909935899_200328hive日志中提示：Ended Job = job_1484909935899_200328 with exception 'java.io.IOException(Job status not available )’



您可能感兴趣的与本文相关的镜像

Linly-Talker

Linly-Talker

AI应用

Linly-Talker是一款创新的数字人对话系统，它融合了最新的人工智能技术，包括大型语言模型（LLM）、自动语音识别（ASR）、文本到语音转换（TTS）和语音克隆技术

org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811
寒夜二十五
05-28 1126
hive sql在跑的时候可能会出现下面的问题： return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811 (state=08S01,code=1) 会报一个job名字长度超出限制的问题： 解决方法： set hive.jobname.length=10; 这里引用以为博主的例子，原文可以去这里查看 hiv..
Jbd6：Hive
热门推荐
博客
03-21 3万+
Hive是建立在Hadoop之上的一种数仓工具该工具的功能是将结构化、半结构化的数据文件映射为一张数据库表基于数据库表，提供了一种类似SQL的查询模型（HQL）用于访问和分析存储在Hadoop文件中的大型数据集Hive本身并不具备存储功能，其核心是将HQL转换为MapReduce程序然后将程序提交到Hadoop集群中执行相应的MapReduce流程其主要特点如下：简单、容易上手其提供了类似SQL的查询语言HiveQL，大大降低了使用门槛灵活性高。
linux rm 提示io异常,Hadoop异常 java.io.IOException: Job status not available
weixin_32377497的博客
05-14 503
Hadoop集群上跑mapreduce，在job任务执行完成退出时报 java.io.IOException: Job status not available异常。Job client请求job状态时，Application已经完成转而去Job history server请求job状态，就在这里抛出异常。[linuxidc@master conf]$ hadoop jar /usr/lib/h...
hadoop异常 java.io.IOException: Job status not available
xubc的大数据笔记
12-30 5448
Hadoop集群上跑mapreduce，在job任务执行完成退出时报 java.io.IOException: Job status not available异常。Job client请求job状态时，Application Master已经完成转而去Job history server请求job状态，就在这里抛出异常 [xubc@master conf]$ hadoop jar /usr/l
hadoop异常 java.io.IOException: Job status not available
weixin_34354173的博客
06-08 815
Hadoop集群上跑mapreduce，在job任务执行完成退出时报java.io.IOException: Job status not available异常。Job client请求job状态时，Application已经完成转而去Job history server请求job状态，就在这里抛出异常。[xubc@masterconf]$hadoopjar...
[08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Job status not available
最新发布
09-19
- 若频繁发生`Job status not available`，可能是Hive旧版本Bug。建议测试升级至Hive 3.1+ 或应用Hadoop补丁（如[HIVE-18907](https://issues.apache.org/jira/browse/HIVE-18907)）。 --- ### **预防措施** - ...
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
明哥的IT随笔
06-20 893
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
Hive实战
qq_56870570的博客
06-21 2577
一、Hive 概述 1.1 Hive 是什么 由Facebook开源用于解决海量结构化日志的数据统计 基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并且提供类SQL的查询功能 Hive仅仅是一个工具，本身不存储数据只提供一种管理方式，同时也不涉及分布式概念，就是个软件而已 Hive本质就是MapReduce，将类SQL（HQL）转换成MapReduce程序 1.1.1 HQL转换MR流程 解释： Hive处理的数据存储在HDFS Hive分析数据底层默认实现是Ma
解决hiveserver2报错：java.io.IOException: Job status not available - Error while processing statement: FA...
weixin_30596343的博客
07-07 641
用户使用的sql: select count( distinct patient_id ) from argus.table_aa000612_641cd8ce_ceff_4ea0_9b27_0a3a743f0fe3; 下面做不同的测试： 1.beeline -u jdbc:hive2://0.0.0.0:10000 -e "select count( distinct patient_id ...
那些年，写hive sql时所踩过的坑
SK_Lavender的博客
09-30 6531
本文记述一些本人在用hive时，所遇到的一些大坑小坑，一是防止自己再次落坑，二是避免旁人也掉入进去。文章会不定时更新。
解决Hue/hiveserver2报错：java.io.IOException: Job status not available
weixin_30929195的博客
05-28 670
sql是：select count(distinct col) from db.table; 排查过程中遇到过几个不同的报错： 1. beeline -u jdbc:hive2://0.0.0.0:10000 -e "select count(distinct col) from db.table;" INFO : Kill Command = /usr/lib/hadoop/bin/...
转 How To Stop A Running Job Using DBMS_JOB
weixin_33738578的博客
04-01 133
There is no procedure within the dbms_job package to stop a running job.You will need to determine which Oracle session and process is associated with this running job and then kill it.You can run the...
【Hive】Hive返回码状态含义
fairynini的博客
11-09 453
转载：https://blog.youkuaiyun.com/victorzzzz/article/details/100906080 返回码意义： HiveServer Kill job的情况 1.Hive 发生主备切换时，新主主动kill掉原来的job； 2.在一个MR job中所有mappers及reducers创建HDFS文件数目超过文件最大数目时（该最大数目有HiveConf里的hive.exec.max.created.files控制，目前默认值为100,000）； 3.当job提交失败时，HiveSer
Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execu
初级程序员
11-15 1万+
hive sql执行join语句报错 Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Job ...
Hive Could not find status of job
Shrash的博客
03-19 3328
报警信息： Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, errorCode:1, SQLStat
hive报错java.io.IOException: Could not find status of job:job_1470047186803_131111
刘光华的专栏
08-05 8350
环境：hadoop2.7.2 + hive1.2.1         最近集群环境下，有部分hive任务会报报如下错误：         java.io.IOException: Could not find status of job:job_1470047186803_131111 at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelp
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值