hive on tez遇到问题

最新推荐文章于 2025-10-10 10:10:34 发布

原创最新推荐文章于 2025-10-10 10:10:34 发布 · 3.3k 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

19 篇文章

订阅专栏

本文解决在使用Hive 0.13与Tez 0.5.0版本时遇到的运行异常问题，通过分析源码发现版本不匹配是根本原因，提出使用Hive 0.14及以上版本与Tez 0.5.x版本相兼容的解决方案。

一、环境hive0.13，tez0.5.0

二、运行异常如下：

return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. org.apache.tez.mapreduce.hadoop.MRHelpers.getBaseMRConfiguration(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/hadoop/conf/Configuration;

三、查看hive和tez源码，在hive中org.apache.hadoop.hive.ql.exec.tez.DagUtils这个类中调用tez的getBaseMRConfiguration方法导致异常

JobConf conf 
= (JobConf) 
MRHelpers.getBaseMRConfiguration(hiveConf);

而在tez-0.5.x版本没有这个getBaseMRConfiguration该方法，只有在tez-0.4.x中，所以版本不匹配导致，所以要使用tez-.0.5.x只能用hive0.14及后来版本

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

谷雨hadoop

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HiveSqlBug ：return code 1&No cluster diagnostics found&return code -101

Direction_Wind的博客

07-26

4005

这种报错可能出现在insert select中，也可能直接load中报错出现，对于tez引擎和mr引擎，这个报错可能会有不同的原因需要读者自行分辨。解决办法：频繁登录导致的session错乱，注销hue 等待一段时间重新登录。这种报错有可能是锁表，例如hive3中有事务，一读一写就会有这种问题。这个一般是动态分区时报的错，或者传参过多导致的。

[Hive]四、Hive On Tez

weixin_44428807的博客

08-26

1368

用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。

参与评论您还未登录，请先登录后发表或查看评论

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado

Jamie's Blogs

10-18

2万+

@[TOC](Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask (state=08S01,code=1)) Hive测试环境下报错 Error: Error while processing s...

（hive） Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方案

WJWFighting的博客

08-14

2万+

解决bug思路：出现这个问题说明你的mapreduce.input.fileinputformat.split.maxsize设置的太小了解决方案：hive (default)> set mapreduce.input.fileinputformat.split.maxsize=。。。。;设置最大切片值为。。。个字节这个数取决于你的文件大小，假设下：你的文件50M，你就把set ...

hive on tez运行及hive ha搭建

最新发布

weixin_62206215的博客

10-10

1251

在Hive2.x版本起，Hive官方不再建议使用MapReduce作为底层默认执行引擎，推荐使用Tez或者Spark作为执行引擎（目前Hive4.0.0版本不支持Spark引擎），这些引擎相比于默认的MapReduce执行引擎执行任务时可以提升查询性能、降低延迟并优化资源利用，Hive4.x版本后可能会彻底弃用MapReduce引擎。Apache Tez是一个开源分布式执行框架，专为处理复杂数据流任务而设计。它允许将多个依赖任务转化为单一的有向无环图（DAG）作业，从而大幅提升性能。

Hive on Tez出现exec.Task: Failed to execute tez graph. java.lang.NullPointerException

微电子学与固体电子学-俞驰

06-03

7209

报错复现: hive>select count(*) from student; 报错如下: 2020-06-03 22:00:36,787 ERROR [57ee4918-ac03-4f15-82c0-0cfd7cbcda73 main] exec.Task: Failed to execute tez graph. java.lang.NullPointerException at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.ge

[hive]return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded

胖胖的博客

11-10

2871

2、group by 数据倾斜。1、调大reduce个数。

hive on tez 常见报错问题收集

01-26

这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write too。这个问题是由于Hive中的一个已知bug，具体问题可以在Apache JIRA的HIVE-16398中...

hive on tez集成完整采坑指南(含tez-ui及安全环境)

匆匆z2的博客

03-10

1万+

hive on tez 介绍使用版本 hadoop 3.1.1 hive 3.1.0 tez 0.9.2 timeline v1 安装过程注意点官网上文档并不能完整的搭建,需要参考源码中的文档部分配置官网文档没有写出来,需要查看源代码排查前置条件 hadoop安全集群 hive已安装 tez搭建 tez打包编译 tez需要根据hadoop环境的版本,使用对应的脚本编译生成对应的...

记录hive on tez报错

琅天溪的博客

10-23

1385

记录hive on tez报错我使用的hadoop以及hive还有tez的版本是： hadoop-2.6.0-cdh5.16.2 hive-1.1.0-cdh5.16.2 tez-0.8.5 上测试成功结果 Query ID = root_20201023210303_3bda0a6a-6f65-41fe-9c18-64b582c5d2d8 Total jobs = 1 Launching Job 1 out of 1 Status: Running (Executing on YARN cluste

Hive On Tez 进度条不显示问题修复

NullPointerException的博客

09-10

2219

===========

Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space

挣扎技术

06-04

9763

Hive 执行group by 出现错误 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space 参考数据倾斜以及本地模式的介绍解决方法：改为本地模式 1、开启本地mr set hive.exec.mode.local.auto=tr...

return code -101 from org.apache.hadoop.hive.ql.exec.DDLTask问题解决

互联网

02-02

802

运行Hive shell命令创建表时，报出下面这个错误： java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; at org.apache.hadoop.hbase.ipc.HBaseClient$...

安装Tez后Hive无法插入数据：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

Time_Needer的博客

07-20

1790

安装Tez后，Hive只能查询而不能插入可能的原因是内存不足，导致进程被中断 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 解决办法： # 打开hadoop中yarn-site.xml文件,添加 <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</

Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask问题解决

热门推荐

Sin_Geek成长の迹

10-04

5万+

发现这个报错后，就网上查资料喽。目前看下来两种情况比较常见，不排除其他可能。一般排查方式也是查看hive日志,job日志在你的HIVEHOME/conf的hive?log4j.properties下的hive.log.dir={java.io.tmpdir}/user.name所指的目录下,如果日志使用的是默认的配置,则在主机的/tmp/user.name所指的目录下；当然我也是先进了看了这路径下...

hive udf报101错误

A_xiaopihai的博客

01-15

1861

hive udf操作中的101问题错误产生 hive自定义函数时，把jar包上传到了服务器，也执行命令成功添加jar包 add jar /usr/local/install/hive1.2.2/lib/ToUp.jar; 但在创建临时函数时，由于原代码有误，报出了空指针异常，在修改打包后重新上传，然后再次执行创建临时函数命令 create temporary function toUP as 'com.qf.hive.ToUp'; 此时报出错误return code -101 from org.apa

hive使用tez执行引擎insert报错

weixin_44870066的博客

04-08

3583

hive中配置号tez可以正常建表，但是insert报错【错误提示】 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. com.sun.jersey.json.impl.provider.entity.JSONRootElementProvider and com.sun.jersey.json.impl.provider.entity.JSONRootElementProv

已解决：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

qq_43408367的博客

01-12

2769

报错描述：HIVE客户端报错： 3.HUE也报错：如下：解决方案查看日志后发现是使用tez引擎导致的，找到：，打开后呢，找到这个配置：这个配置是阻止异步调用任务的，默认是开始，设置成true就，然后重启集群就可以

FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.FunctionTask

weixin_46705696的博客

11-12

3309

xxx has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 52.0

如何在CDH环境中集成Tez，并解决Hive on Tez配置时遇到的内存问题？

11-11

为了在CDH环境中成功集成Tez并处理Hive on Tez时可能遇到的内存问题，你需要遵循一系列详细的步骤来确保兼容性和性能。本文档《CDH集成Tez：从安装到配置及常见问题解决方案》将是你在这一过程中不可或缺的参考。从下载并编译protobuf，到获取并编译Tez源代码，每一步都需要精确的操作来保证系统稳定性。参考资源链接：[CDH集成Tez：从安装到配置及常见问题解决方案](https://wenku.csdn.net/doc/5ddp5gpmar?spm=1055.2569.3001.10343) 首先，下载并安装protobuf-2.5.0版本，这是因为Tez使用protobuf进行通信，必须保证版本兼容性。接下来，下载Tez-0.9.1源码并编译，过程中确保使用Maven 3.0.0或更高版本，这对于Tez的构建至关重要。在编译完成后，将编译出的Tez jar包安装到合适的位置，而不是简单地复制到Hive的lib目录下。这样可以避免潜在的冲突和配置问题。随后，按照文档指示配置Hadoop的classpath，确保Tez能够正确地与Hadoop集成。在处理内存问题时，需要注意Hive on Tez对于内存的管理可能与默认设置有所不同。因此，可能需要调整Hive的配置文件（如hive-site.xml）来优化内存使用，例如设置合理的执行器数量和内存大小。同时，也要监控Tez作业的执行情况，根据实际的作业需求进行调整。本指南不仅涵盖了从安装到配置的全部步骤，还包括了针对Hive on Tez在内存使用上可能遇到的问题的解决方案。通过阅读本指南，你将能够掌握如何在CDH集群中成功集成Tez，并通过合理的配置提升大数据处理的效率和性能。参考资源链接：[CDH集成Tez：从安装到配置及常见问题解决方案](https://wenku.csdn.net/doc/5ddp5gpmar?spm=1055.2569.3001.10343)