hive on tez遇到问题

最新推荐文章于 2025-03-24 17:21:05 发布

谷雨hadoop

最新推荐文章于 2025-03-24 17:21:05 发布

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/linux_ja/article/details/46878165

hadoop 专栏收录该内容

19 篇文章

订阅专栏

一、环境hive0.13，tez0.5.0

二、运行异常如下：

return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. org.apache.tez.mapreduce.hadoop.MRHelpers.getBaseMRConfiguration(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/hadoop/conf/Configuration;

三、查看hive和tez源码，在hive中org.apache.hadoop.hive.ql.exec.tez.DagUtils这个类中调用tez的getBaseMRConfiguration方法导致异常

JobConf conf = (JobConf) MRHelpers.getBaseMRConfiguration(hiveConf);

而在tez-0.5.x版本没有这个getBaseMRConfiguration该方法，只有在tez-0.4.x中，所以版本不匹配导致，所以要使用tez-.0.5.x只能用hive0.14及后来版本

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

谷雨hadoop

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

[Hive]四、Hive On Tez

weixin_44428807的博客

08-26

1261

用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。

【数据仓库】hive on Tez配置

花菜回锅肉的博客

12-31

1634

前提是hive4.0+hadoop3.2.2数仓已搭建完成，现在只是更换其执行引擎为Tez。搭建可参考文章。

参与评论您还未登录，请先登录后发表或查看评论

Hive on Tez出现exec.Task: Failed to execute tez graph. java.lang.NullPointerException

微电子学与固体电子学-俞驰

06-03

7061

报错复现: hive>select count(*) from student; 报错如下: 2020-06-03 22:00:36,787 ERROR [57ee4918-ac03-4f15-82c0-0cfd7cbcda73 main] exec.Task: Failed to execute tez graph. java.lang.NullPointerException at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.ge

[hive]return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded

胖胖的博客

11-10

2814

2、group by 数据倾斜。1、调大reduce个数。

hive插入数据时报错：return code 2

最新发布

shabixsaf的博客

03-24

688

Hive在执行插入数据操作时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”错误，是一个比较常见的问题。下面我们将从几个方面来介绍解决此问题的方法。方法1：可以设置动态分区的相关参数。方法2：设置spark引擎。

Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space

挣扎技术

06-04

9730

Hive 执行group by 出现错误 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space 参考数据倾斜以及本地模式的介绍解决方法：改为本地模式 1、开启本地mr set hive.exec.mode.local.auto=tr...

return code -101 from org.apache.hadoop.hive.ql.exec.DDLTask问题解决

互联网

02-02

786

运行Hive shell命令创建表时，报出下面这个错误： java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; at org.apache.hadoop.hbase.ipc.HBaseClient$...

安装Tez后Hive无法插入数据：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

Time_Needer的博客

07-20

1706

安装Tez后，Hive只能查询而不能插入可能的原因是内存不足，导致进程被中断 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 解决办法： # 打开hadoop中yarn-site.xml文件,添加 <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</

hive on tez 常见报错问题收集

01-26

这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write too。这个问题是由于Hive中的一个已知bug，具体问题可以在Apache JIRA的HIVE-16398中...

Hive on Tez map阶段task划分源码分析（map task个数）

lijian222491的博客

04-10

1309

Hive on Tez中map task的划分逻辑在Tez源码中，总体实现逻辑如下：（1）Tez源码中实现map task划分的逻辑为TezSplitGrouper类；具体实现方法为getGroupedSplits；（2）Tez源码中对应该部分的单元测试类为TestGroupedSplits.java（3）选择单元测试中testRepeatableSplits进行单元测试；如下图：（4）该部分可以自由造数据，例如有多少个文件目录，filesplit目录、副本路径位置、文件的大小、机架等等；

Hive On Tez 进度条不显示问题修复

NullPointerException的博客

09-10

2157

===========

Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask问题解决

热门推荐

Sin_Geek成长の迹

10-04

5万+

发现这个报错后，就网上查资料喽。目前看下来两种情况比较常见，不排除其他可能。一般排查方式也是查看hive日志,job日志在你的HIVEHOME/conf的hive?log4j.properties下的hive.log.dir={java.io.tmpdir}/user.name所指的目录下,如果日志使用的是默认的配置,则在主机的/tmp/user.name所指的目录下；当然我也是先进了看了这路径下...

hive udf报101错误

A_xiaopihai的博客

01-15

1807

hive udf操作中的101问题错误产生 hive自定义函数时，把jar包上传到了服务器，也执行命令成功添加jar包 add jar /usr/local/install/hive1.2.2/lib/ToUp.jar; 但在创建临时函数时，由于原代码有误，报出了空指针异常，在修改打包后重新上传，然后再次执行创建临时函数命令 create temporary function toUP as 'com.qf.hive.ToUp'; 此时报出错误return code -101 from org.apa

hive使用tez执行引擎insert报错

weixin_44870066的博客

04-08

3503

hive中配置号tez可以正常建表，但是insert报错【错误提示】 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. com.sun.jersey.json.impl.provider.entity.JSONRootElementProvider and com.sun.jersey.json.impl.provider.entity.JSONRootElementProv

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado

Jamie's Blogs

10-18

2万+

@[TOC](Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask (state=08S01,code=1)) Hive测试环境下报错 Error: Error while processing s...

已解决：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

qq_43408367的博客

01-12

2670

报错描述：HIVE客户端报错： 3.HUE也报错：如下：解决方案查看日志后发现是使用tez引擎导致的，找到：，打开后呢，找到这个配置：这个配置是阻止异步调用任务的，默认是开始，设置成true就，然后重启集群就可以

Hive报错org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

double_winter的博客

01-18

3626

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Hive 插入数据报错return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask.

你微笑时最美的博客

08-25

8618

<hive> insert into books values(1,"book1"); Query ID = lei.wang2_20210825214904_a708ba10-4d78-4ffd-8beb-685aa297a5a4 Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks determined at compile time: 1 In order to change the average load for.

hive出现java.lang.OutOfMemoryError: GC overhead limit exceeded

fly_time2012的专栏

07-31

2927

最近用sparksession写入hive数据时，但用hive查询统计行数报错了 select count(*) from test_20190417;错误如下： Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number>

如何在CDH环境中集成Tez，并解决Hive on Tez配置时遇到的内存问题？

11-11

为了在CDH环境中成功集成Tez并处理Hive on Tez时可能遇到的内存问题，你需要遵循一系列详细的步骤来确保兼容性和性能。本文档《CDH集成Tez：从安装到配置及常见问题解决方案》将是你在这一过程中不可或缺的参考。从下载并编译protobuf，到获取并编译Tez源代码，每一步都需要精确的操作来保证系统稳定性。参考资源链接：[CDH集成Tez：从安装到配置及常见问题解决方案](https://wenku.csdn.net/doc/5ddp5gpmar?spm=1055.2569.3001.10343) 首先，下载并安装protobuf-2.5.0版本，这是因为Tez使用protobuf进行通信，必须保证版本兼容性。接下来，下载Tez-0.9.1源码并编译，过程中确保使用Maven 3.0.0或更高版本，这对于Tez的构建至关重要。在编译完成后，将编译出的Tez jar包安装到合适的位置，而不是简单地复制到Hive的lib目录下。这样可以避免潜在的冲突和配置问题。随后，按照文档指示配置Hadoop的classpath，确保Tez能够正确地与Hadoop集成。在处理内存问题时，需要注意Hive on Tez对于内存的管理可能与默认设置有所不同。因此，可能需要调整Hive的配置文件（如hive-site.xml）来优化内存使用，例如设置合理的执行器数量和内存大小。同时，也要监控Tez作业的执行情况，根据实际的作业需求进行调整。本指南不仅涵盖了从安装到配置的全部步骤，还包括了针对Hive on Tez在内存使用上可能遇到的问题的解决方案。通过阅读本指南，你将能够掌握如何在CDH集群中成功集成Tez，并通过合理的配置提升大数据处理的效率和性能。参考资源链接：[CDH集成Tez：从安装到配置及常见问题解决方案](https://wenku.csdn.net/doc/5ddp5gpmar?spm=1055.2569.3001.10343)