Hive on tez 运行报错集锦

最新推荐文章于 2024-08-26 21:43:46 发布
最新推荐文章于 2024-08-26 21:43:46 发布
阅读量2.1k 收藏 1
点赞数 1
分类专栏： Hive hadoop问题 大数据 文章标签： hive 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cuichunchi/article/details/109290841
版权

执行 hive：直接报java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion

CDH集群安装组件都ok，在Hue界面中使用Hive的HQL是都是ok的

但是直接在liunx中，打开客户端命令：

执行 hive：直接报java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion

解决方案：

因为CDH的hive-site.xml配置文件中没有指向hadoop的安装目录，以下是我后加的配置相：

hive在CDH中的路径如下：/opt/cloudera/parcels/CDH/lib/hive/conf，注意，修改后记得分发集群

 

hive on tez 运行时抛 java.lang.NoClassDefFoundError: com/esoteric

最低0.47元/天 解锁文章
Hive on Tez 报错: DAG 执行失败，原因是 VERTEX_FAILURE
DevProPlus的博客
09-14 1152
在错误信息中，我们可以看到有关 failedVertices 和 killedVertices 的信息，这些信息可以帮助我们定位到具体出错的顶点和执行过程。通过检查日志、检查资源、优化查询、更新软件版本和调整配置参数，我们可以解决这些错误并提高应用程序的性能和稳定性。更新软件版本：检查所使用的 Hive、Tez 和相关软件的版本，并确保使用的是最新的稳定版本。希望本文所提供的解决方法和示例代码能够帮助您解决 DAG VERTEX_FAILURE 错误，并顺利进行 Hive on Tez 的数据处理任务。
hive运行引擎Tez出现错误
qq_20790447的博客
05-09 1859
运行hive之后出现以下问题， Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
Hive On Tez报错汇总
TomAndersen的博客
06-04 1907
前言 Hive：2.3.0 Hadoop：2.7.7 JDK：1.8.0_221 Tez：0.9.1 报错一 报错内容： 在Hive下使用Tez引擎执行MR Job时报错：Container killed on request. Exit code is 143 问题分析： 从Container killed on request这几个关键字就可以猜测，Container在非正常结束时被kill，很有可能就是Container使用的内存超出Container限制导致的。 查看Hive运行日志： Hiv
hive on tez 执行任务报错
CCESARE的博客
05-19 5267
hive on tez，在执行任务的时候报错，这种情况原因是container资源被抢占或者是资源不足。而task最大的失败次数默认是4，am自己失败的最大重试次数默认是2次。 分析： task_1442391298043_123239_1_01_000000，失败了4次，失败的原因是container被高优先级的任务抢占了。而task最大的失败次数默认是4。当集群上的任务比较多时，比较容易出现这个问题。 解决方案： 命令行修改默认值 set tez.am.task.max.failed....
Hive使用Tez引擎安装启动报错
weixin_45822753的博客
09-26 971
问题：org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration 错误日志： 解决方案：将tez-site.xml cp 到hadoop的etc/hadoop/目录下 ok.
hive on tez 常见报错问题收集
01-26
这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug，具体问题可以在Apache JIRA的HIVE-16398中...
[Hive]四、Hive On Tez
最新发布
weixin_44428807的博客
08-26 1233
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。
Hive on Tez配置过程
m0_45847655的博客
08-25 874
此时的hive已经配置完成，可以使用mapreduce引擎进行操作，前提是集群的hdfs,yarn开启，并且启动hive前，要先启动metastore和hiveserver2这两个服务。也可以直接把log4j-slf4j-impl-2.10.0.jar 删了，我就是这么搞的，也没有问题。以上命令启动后会在后台运行，启动之后jps所在的shell命令行，会显示两个runjar,即为启动成功。因为MySQL的密码策略，需要设置一个比较复杂的密码（此处先随便设置一个复杂的密码）是在hadoop的目录下创建。
Hive报错：org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris
黄州大侠的博客
05-24 2498
操作环境 操作系统：Centos6.6 hadoop版本：2.7.7 tez版本：0.9.1 问题描述 在安装Hive on tez后，使用hadoop jar tez-examples-0.9.1.jar orderedwordcount /input/wordcount /output命令测试，报org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris错误： 问题分析
tez在join操作中遇到数据丢失问题（牵涉hive优化）
Mr.Zheng的博客
04-12 5497
前言 相信很多人遇到过，将tez集成到hive中时，进行表join操作，比如3张表进行join，发现最后结果和预期比较 ，少了一些。然后对每个子查询进行分析，发现往往每个子查询又没有任何数据丢失！而是到了join阶段，数据才出现部分丢失。下面我们对此进行展开叙述。 问题排查 首先，为了排查到底是哪里的情况。我们知道，tez对DAG运算做了很多优化，和传统MR运行有区别。那么到底如何查呢。 首先为...
＜记＞一次Hive tez丢数据问题
weixin_44560999的博客
03-16 730
<记>一次Hive tez丢数据问题 使用tez引擎 union all 数据丢失，在做大表数据2QW 关联小表数据是 几百W 会造成数据丢失 原因：暂未找到 临时方案：先将小表数据优先关联好后，再去跟大表关联
hive使用Tez引擎报错
e3hhhh的博客
09-20 1300
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask hive> set hive.execution.engine=tez; 可以进/tmp/{user}/hive.log 其中{user}代表安装hive的用户例如在root上安装的hive vi /tmp/root/h...
大数据学习——hive阶段：启动HiveServer2启动报TezConfiguration类NoClassDefFoundError错误
m0_58310854的博客
03-03 1247
解决hiveserver2启动不成功问题
Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
知行合一
10-31 4241
# Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
Exception in thread main java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
微电子学与固体电子学-俞驰
06-03 7265
hive on tez，为了这个配置今天是第四天了,MLGB的！！！ ################################################################################################### 这个报错是在启动hive客户端的时候触发了。 ######################################下面是解决方案##################################### 直接说解决方案: ~
Spark读取Hive on Tez任务问题
fansy1990的专栏
03-18 1449
Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续，由于HDP集群调整Hive引擎为Tez后，出现的问题。具体问题如下： 19/03/18 10:40:16 INFO client.TezClient: Session mode. Star...
原生态hadoop下启动hive-1.1.0-cdh5.7.0报错
BornZhu的博客
05-10 2519
原生态hadoop下启动hive-1.1.0-cdh5.7.0，hdfs，yarn正常启动，hive报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/MRVersion at org.apache.hadoop.hive.shims.Hadoop23Shims.isMR2(H...
Hadoop运行错误：org.apache.hadoop.yarn.exceptions.YarnException
热门推荐
小萌猿的博客
03-03 2万+
打包MapReduce程序为jar包后在Hadoop集群执行时出错： 原因：集群时间不一致造成的 解决：同步集群时间即可 同步步骤： 思路：比如集群有三台机器：node1,node2,node3,将node1作为时间服务器，其它两台与node1同步即可。 一、设置时间服务器：（node1中执行） 1、vi /etc/ntp.conf 注释掉restrict default kod...
使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法
wangxizhen123的博客
04-10 1万+
当我使用hive进行如下查询时 select * from t_t inner join t_te on t_t.id=t_te.id;出现如下错误：Query ID = root_20180410193117_e9d36b57-54ce-4ad5-a48c-df876f449de1 Total jobs = 1 18/04/10 19:31:20 WARN conf.Configuration:...
hive on spark 和 hive on tez 深入对比
05-26
Hive on Spark和Hive on Tez都是基于Apache Hive构建的分布式数据仓库系统，它们的主要目标是实现高效的SQL查询和分析。 Hive on Spark是基于Spark计算引擎的Hive版本。Spark是一个内存计算框架，它可以在内存中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值