Hive on tez 运行报错集锦

最新推荐文章于 2024-08-26 21:43:46 发布
原创 最新推荐文章于 2024-08-26 21:43:46 发布 · 2.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #大数据 #hadoop

执行 hive：直接报java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion

CDH集群安装组件都ok，在Hue界面中使用Hive的HQL是都是ok的

但是直接在liunx中，打开客户端命令：

执行 hive：直接报java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion

解决方案：

因为CDH的hive-site.xml配置文件中没有指向hadoop的安装目录，以下是我后加的配置相：

hive在CDH中的路径如下：/opt/cloudera/parcels/CDH/lib/hive/conf，注意，修改后记得分发集群

 

hive on tez 运行时抛 java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializer

解决方案：

将/opt/cloudera/parcels/C

最低0.47元/天 解锁文章
Hive on Tez 报错: DAG 执行失败，原因是 VERTEX_FAILURE
DevProPlus的博客
09-14 1376
在错误信息中，我们可以看到有关 failedVertices 和 killedVertices 的信息，这些信息可以帮助我们定位到具体出错的顶点和执行过程。通过检查日志、检查资源、优化查询、更新软件版本和调整配置参数，我们可以解决这些错误并提高应用程序的性能和稳定性。更新软件版本：检查所使用的 Hive、Tez 和相关软件的版本，并确保使用的是最新的稳定版本。希望本文所提供的解决方法和示例代码能够帮助您解决 DAG VERTEX_FAILURE 错误，并顺利进行 Hive on Tez 的数据处理任务。
Tez在hadoop 2.2.0下的安装部署测试
热门推荐
teddeyang的专栏
02-20 1万+
1.      我的安装环境： a)        hadoop2.2.0 b)        probuf2.5.0  ，  probuf的安装可参考：http://blog.csdn.net/guoyilongedu/article/details/17093811 c)        Tez-0.2.0 2.      安装Tez， a)        下载，Tez
Hive On Tez报错汇总
TomAndersen的博客
06-04 2047
前言 Hive：2.3.0 Hadoop：2.7.7 JDK：1.8.0_221 Tez：0.9.1 报错一 报错内容： 在Hive下使用Tez引擎执行MR Job时报错：Container killed on request. Exit code is 143 问题分析： 从Container killed on request这几个关键字就可以猜测，Container在非正常结束时被kill，很有可能就是Container使用的内存超出Container限制导致的。 查看Hive运行日志： Hiv
hive运行引擎Tez出现错误
qq_20790447的博客
05-09 1904
运行hive之后出现以下问题， Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
hive on tez 执行任务报错
CCESARE的博客
05-19 5458
hive on tez，在执行任务的时候报错，这种情况原因是container资源被抢占或者是资源不足。而task最大的失败次数默认是4，am自己失败的最大重试次数默认是2次。 分析： task_1442391298043_123239_1_01_000000，失败了4次，失败的原因是container被高优先级的任务抢占了。而task最大的失败次数默认是4。当集群上的任务比较多时，比较容易出现这个问题。 解决方案： 命令行修改默认值 set tez.am.task.max.failed....
Hive使用Tez引擎安装启动报错
weixin_45822753的博客
09-26 1060
问题：org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration 错误日志： 解决方案：将tez-site.xml cp 到hadoop的etc/hadoop/目录下 ok.
精选资源
hive on tez 常见报错问题收集
01-26
这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug，具体问题可以在Apache JIRA的HIVE-16398中...
[Hive]四、Hive On Tez
weixin_44428807的博客
08-26 1397
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。
Hive on Tez配置过程
m0_45847655的博客
08-25 930
此时的hive已经配置完成，可以使用mapreduce引擎进行操作，前提是集群的hdfs,yarn开启，并且启动hive前，要先启动metastore和hiveserver2这两个服务。也可以直接把log4j-slf4j-impl-2.10.0.jar 删了，我就是这么搞的，也没有问题。以上命令启动后会在后台运行，启动之后jps所在的shell命令行，会显示两个runjar,即为启动成功。因为MySQL的密码策略，需要设置一个比较复杂的密码（此处先随便设置一个复杂的密码）是在hadoop的目录下创建。
Hive报错：org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris
黄州大侠的博客
05-24 2579
操作环境 操作系统：Centos6.6 hadoop版本：2.7.7 tez版本：0.9.1 问题描述 在安装Hive on tez后，使用hadoop jar tez-examples-0.9.1.jar orderedwordcount /input/wordcount /output命令测试，报org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris错误： 问题分析
tez在join操作中遇到数据丢失问题（牵涉hive优化）
Mr.Zheng的博客
04-12 5626
前言 相信很多人遇到过，将tez集成到hive中时，进行表join操作，比如3张表进行join，发现最后结果和预期比较 ，少了一些。然后对每个子查询进行分析，发现往往每个子查询又没有任何数据丢失！而是到了join阶段，数据才出现部分丢失。下面我们对此进行展开叙述。 问题排查 首先，为了排查到底是哪里的情况。我们知道，tez对DAG运算做了很多优化，和传统MR运行有区别。那么到底如何查呢。 首先为...
＜记＞一次Hive tez丢数据问题
weixin_44560999的博客
03-16 774
<记>一次Hive tez丢数据问题 使用tez引擎 union all 数据丢失，在做大表数据2QW 关联小表数据是 几百W 会造成数据丢失 原因：暂未找到 临时方案：先将小表数据优先关联好后，再去跟大表关联
hive使用Tez引擎报错
e3hhhh的博客
09-20 1343
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask hive> set hive.execution.engine=tez; 可以进/tmp/{user}/hive.log 其中{user}代表安装hive的用户例如在root上安装的hive vi /tmp/root/h...
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.hadoop.hive.EsHiveInputFormat
NoclimbMonkey的博客
04-08 2550
Hive和Tez整合之后往ES中插入数据报错的问题 Caused by: java.lang.ClassNotFoundException: org.elasticsearch.hadoop.hive.EsHiveInputFormat 在我吧hive的引擎替换为tez以后,运行SQL报错,后来发现是往ES映射表的时候报错 Status: Failed Vertex failed, vertexN...
Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration
qq_32068809的博客
03-24 2711
HDP3使用apache版Spark2.4查询hive时报错： Caused by: java.lang.RuntimeException: org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration at org.apache.hadoop.hive.ql.session.SessionState.st
hive启动报错 java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion
weixin_30794499的博客
04-04 2925
[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/java/jdk1.8.0_45/bin:/bin:/usr/local/bin:/bin:/usr/bin:/...
【Hive】报错锦集
你不来，再美的天地，都狼藉 ~
06-10 2529
Hive使用过程中遇到的部分问题分享，快来看看吧！
Hive关联时丢失数据问题和常用的Hive SQL参数设置
redamancy_dec的博客
02-20 2437
针对结果的发生，本文从以下方面分析原因及提供解决方案： 右表没有匹配的数据；关联键数据类型不匹配； 受count列null值影响；Hive版本问题，在某些版本中，左连可能导致右表为null； 数据倾斜 。 并在文末附属了`Hive SQL常用参数设置`的说明。
大数据学习12：hadoop，hive 踩坑篇，持续更新！！
ggwxk1990的博客
09-10 5160
1、在使用hive-1.1.0-cdh5.7.0 去连接 原生态 hadoop 的时候，正常启动hdfs，yarn 后，启动hive 发现报错： [hadoop-single@hadoop001 lib]$ hive which: no hbase in (/opt/single/hadoop/bin:/opt/single/hadoop/sbin:/opt/software/findbugs
paimon1.0.1,使用hive on tez读取paimon表做sql报错：Vertex failed
最新发布
07-31
在 Paimon 1.0.1 中使用 Hive on Tez 读取 Paimon 表时遇到 SQL 报错 `Vertex failed`，通常与任务执行过程中某些节点（Vertex）未能成功完成计算任务有关。此类错误可能由多种原因引发，包括但不限于资源不足、数据倾斜、配置问题或兼容性问题。 ### 可能的原因及解决方案 #### 1. **资源不足导致任务失败** 在 Hive on Tez 执行过程中，如果某个 Map 或 Reduce 任务分配的内存或 CPU 资源不足，可能导致 Vertex 执行失败。特别是在读取 Paimon 表时，由于其列式存储结构和复杂的文件合并机制，可能对内存需求较高。 - **解决方案**：适当调整 Tez 和 YARN 的资源配置参数，例如： ```sql -- 增加 Mapper 内存 SET mapreduce.map.memory.mb=4096; -- 设置 YARN 容器最小内存 SET yarn.scheduler.minimum-allocation-mb=4096; -- 调整 JVM 堆内存参数 SET mapreduce.map.java.opts=-Xmx3600m; -- 设置 Tez 的内存分配 SET tez.task.resource.memory-mb=4096; SET tez.runtime.unordered.output.buffer.size-mb=1024; ``` #### 2. **Paimon 表与 Hive Catalog 集成问题** Paimon 表通过 Hive StorageHandler 集成到 Hive 中，若集成配置不正确，可能导致元数据读取失败或文件路径解析异常，从而触发 Vertex 失败。 - **验证方式**：检查 Paimon 表的 Hive 外部表定义是否正确，确保 `LOCATION` 或 `paimon_location` 指向有效的 HDFS 路径，并且 Hive Metastore 和 Hiveserver2 已重启以加载新配置 [^3]。 - **修复方式**：重新确认 Hive Metastore 和 Hiveserver2 的启动状态，确保所有服务正常运行，并检查日志文件中是否有连接或路径异常。 #### 3. **Hive on Tez 与 Paimon 文件格式兼容性问题** Paimon 使用其自定义的列式文件格式（基于 ORC 或 Parquet 的变种），若 Hive on Tez 版本不支持该格式，可能导致读取失败。 - **解决方案**： - 确保 Hive 和 Tez 的版本与 Paimon 1.0.1 兼容。 - 更新 Paimon 的 Hive StorageHandler JAR 包至最新版本，确保其支持当前 Hive 和 Tez 的运行环境。 - 在 Hive 表定义中明确指定文件格式，例如： ```sql CREATE EXTERNAL TABLE test.paimon_ex_ws_t STORED BY 'org.apache.paimon.hive.PaimonStorageHandler' LOCATION 'hdfs://node154:8020/paimon/hive/test.db/ws_t'; ``` #### 4. **任务执行中的 GC 问题或线程异常** 在执行过程中，若 JVM 频繁发生 Full GC 或线程阻塞，也可能导致 Vertex 超时或失败。 - **解决方案**：启用 GC 日志并分析： ```sql SET mapreduce.map.java.opts=-Xmx3600m -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/tmp/gc.log; ``` 根据 GC 日志判断是否存在频繁 GC 或内存泄漏问题。 #### 5. **数据倾斜导致部分 Vertex 耗时过长** 若 Paimon 表中某些分区或文件的数据量远大于其他分区，可能导致部分 Vertex 执行时间过长，进而被 YARN 或 Tez 判定为失败。 - **解决方案**： - 对数据进行预分区或采样，避免数据倾斜。 - 使用动态分区并控制每个分区的数据量。 - 启用 Tez 的自动并发调整功能： ```sql SET tez.grouping.split-waves=3.0; SET tez.grouping.min-size=16MB; SET tez.grouping.max-size=1024MB; ``` ### 总结 `Vertex failed` 错误通常由资源不足、配置错误、数据倾斜或兼容性问题引起。解决该问题需结合日志分析、资源配置调整和 Paimon 与 Hive 集成状态的检查。建议优先排查资源限制和 Hive Catalog 配置，其次关注数据分布与执行日志。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值