Hive Job status not available

最新推荐文章于 2024-06-20 16:36:33 发布
最新推荐文章于 2024-06-20 16:36:33 发布
阅读量1.6k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Shrash/article/details/62416844
本文分析了一种Hive查询返回非零代码的问题，探讨了jobclient请求作业状态时出现的异常情况，即applicationmaster已完成作业处理，但在向jobhistoryserver请求最终状态时发生错误。文章详细记录了该错误的具体信息及日志中的异常提示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

收到的报警信息：

Caused by: HiveServerException(message:Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, errorCode:1, SQLState:08S01)


原因：job client请求作业状态时，application master 已经完成对应作业的处理，向job history server请求job的最终状态时报错。

判断结果的信息： 作业请求的APPid=application_1484909935899_200328 ， finalstatus是success, 但是在tracking URL中显示 Not Found: job_1484909935899_200328hive日志中提示：Ended Job = job_1484909935899_200328 with exception 'java.io.IOException(Job status not available )’



hadoop异常 java.io.IOException: Job status not available
xubc的大数据笔记
12-30 5417
Hadoop集群上跑mapreduce，在job任务执行完成退出时报 java.io.IOException: Job status not available异常。Job client请求job状态时，Application Master已经完成转而去Job history server请求job状态，就在这里抛出异常 [xubc@master conf]$ hadoop jar /usr/l
org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811
寒夜二十五
05-28 1092
hive sql在跑的时候可能会出现下面的问题： return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811 (state=08S01,code=1) 会报一个job名字长度超出限制的问题： 解决方法： set hive.jobname.length=10; 这里引用以为博主的例子，原文可以去这里查看 hiv..
linux rm 提示io异常,Hadoop异常 java.io.IOException: Job status not available
weixin_32377497的博客
05-14 485
Hadoop集群上跑mapreduce，在job任务执行完成退出时报 java.io.IOException: Job status not available异常。Job client请求job状态时，Application已经完成转而去Job history server请求job状态，就在这里抛出异常。[linuxidc@master conf]$ hadoop jar /usr/lib/h...
hadoop异常 java.io.IOException: Job status not available
weixin_34354173的博客
06-08 800
Hadoop集群上跑mapreduce，在job任务执行完成退出时报java.io.IOException: Job status not available异常。Job client请求job状态时，Application已经完成转而去Job history server请求job状态，就在这里抛出异常。[xubc@masterconf]$hadoopjar...
解决hiveserver2报错：java.io.IOException: Job status not available - Error while processing statement: FA...
weixin_30596343的博客
07-07 620
用户使用的sql: select count( distinct patient_id ) from argus.table_aa000612_641cd8ce_ceff_4ea0_9b27_0a3a743f0fe3; 下面做不同的测试： 1.beeline -u jdbc:hive2://0.0.0.0:10000 -e "select count( distinct patient_id ...
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
明哥的IT随笔
06-20 813
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
Hive实战
qq_56870570的博客
06-21 2542
一、Hive 概述 1.1 Hive 是什么 由Facebook开源用于解决海量结构化日志的数据统计 基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并且提供类SQL的查询功能 Hive仅仅是一个工具，本身不存储数据只提供一种管理方式，同时也不涉及分布式概念，就是个软件而已 Hive本质就是MapReduce，将类SQL（HQL）转换成MapReduce程序 1.1.1 HQL转换MR流程 解释： Hive处理的数据存储在HDFS Hive分析数据底层默认实现是Ma
flink读取hive写入http接口
青春不流名
06-08 1480
在这种模型中，当一个类需要被加载时，首先会从父类加载器开始查找，如果父类加载器能够找到并加载该类，那么就直接使用父类#加载器加载的类，不再尝试由当前类加载器自己加载。log.info("加载org.apache.flink.table.planner.delegation.DialectFactory类的路径是 === {}", jarPath2);#相对应的，还有另一种类加载器委派模型叫做 #"child-first"，在这种模型中，类加载器会首先尝试自己加载类，只有在自己无法加载时才委托给父类加载器。
搭建Hive3.1.2 on Spark2.4.7单机环境
hxtog的博客
10-25 2555
文章目录搭建Hive3.1.2 on Spark2.4.7单机环境先上本机运行情况准备工作安装Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive安装lib文件夹下删除spark下orc-core-1.5.5-nohive.jar文件启动hive on spark总结 搭建Hive3.1.2 on Spark2.4.7单机环境 搭建过程参考网上各种教程, 现在汇总下具体步骤内容。
转 How To Stop A Running Job Using DBMS_JOB
weixin_33738578的博客
04-01 126
There is no procedure within the dbms_job package to stop a running job.You will need to determine which Oracle session and process is associated with this running job and then kill it.You can run the...
【Hive】Hive返回码状态含义
fairynini的博客
11-09 417
转载：https://blog.youkuaiyun.com/victorzzzz/article/details/100906080 返回码意义： HiveServer Kill job的情况 1.Hive 发生主备切换时，新主主动kill掉原来的job； 2.在一个MR job中所有mappers及reducers创建HDFS文件数目超过文件最大数目时（该最大数目有HiveConf里的hive.exec.max.created.files控制，目前默认值为100,000）； 3.当job提交失败时，HiveSer
Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execu
热门推荐
初级程序员
11-15 1万+
hive sql执行join语句报错 Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Job ...
hive报错java.io.IOException: Could not find status of job:job_1470047186803_131111
刘光华的专栏
08-05 8305
环境：hadoop2.7.2 + hive1.2.1         最近集群环境下，有部分hive任务会报报如下错误：         java.io.IOException: Could not find status of job:job_1470047186803_131111 at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelp
java.io.IOException: No locks available
New World
04-06 4809
描述 linux系统下使用Maven下载依赖的时候出现： 28-Mar-2012 09:41:36  Downloaded: http://repo.maven.apache.org/maven2/org/apache/maven/plugins/maven-jar-plugin/maven-metadata.xml (588 B at 0.7 KB/sec)  28-Mar-2012
提交PySpark应用程序以集群模式在YARN上触发
u011250186的博客
12-10 2704
我正在尝试测试为我工作的团队构建的大数据平台。它在YARN上运行时具有火花。 是否可以创建PySpark应用并将其提交到YARN集群上？ 我能够成功提交示例SparkPi jar文件，它在YARN stdout日志中返回输出。 这是我要测试的PySpark代码； <span style="color:#333333"><code>from pyspark import SparkConf from pyspark import SparkContext HDFS_MAST
hive job是什么
最新发布
03-08
### Hive Job 概念及工作原理 #### 什么是Hive Job？ Hive Job 是指由 Apache Hive 发起并执行的一系列 MapReduce 或 Tez 作业。这些作业负责处理 SQL 查询语句，并将其转换成分布式计算框架可以理解的任务来操作存储于 HDFS 中的数据集[^2]。 #### 工作流程解析 当用户向 Hive 提交查询请求时，例如 `SELECT` 语句： ```sql hive (test)> SELECT * FROM emp SORT BY deptno DESC; ``` 此命令会被编译器转化为逻辑计划再进一步优化成为物理执行计划。对于上述例子而言，在实际运行过程中会产生如下行为: - **Mapper 阶段**: 数据被分割成多个分片分配给不同的 Mapper 进程处理。每个 Mapper 负责读取输入文件的一部分内容并对每一行记录应用指定的操作——这里是按照部门编号降序排列员工信息。 - **Reducer 阶段**: 经过 Mappers 处理后的中间结果会被发送至 Reducers 完成最终聚合或排序等操作。在这个案例里设置了三个 Reducer 实例用于接收来自不同 Mapper 的输出流并实施全局性的排序动作。 整个过程涉及到多轮迭代式的 map 和 reduce 步骤直到得到预期的结果集合为止。值得注意的是，如果查询仅涉及简单的扫描而无需复杂变换，则可能只启动单一的 Mapper 来完成全部任务而不必调用 Reduce 功能模块。 此外，为了提高性能效率以及更好地适应大规模数据分析场景下的需求特点，现代版本中的 Hive 支持采用更先进的调度算法比如 YARN 上面提到过的 taskScheduler ，这使得资源管理和负载均衡变得更加灵活高效[^1]。 最后值得一提的是，除了内置的各种算子外，还可以利用 UDF 扩展功能自定义特定用途的方法供后续脚本调用，从而极大增强了系统的可定制性和适用范围[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值