CDH6.3.0环境启用hive on spark执行hql失败记录

最新推荐文章于 2024-03-11 13:45:26 发布
最新推荐文章于 2024-03-11 13:45:26 发布
阅读量481 收藏 5
点赞数 10
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_64670604/article/details/135359504
版权
文章讲述了在CDH6.3.0环境中，尝试使用Hudi将数据写入Hive时遇到的错误，原因是HBase版本不匹配。解决方法是移除hudi-hadoop-mr-bundle-0.11.1.jar包，确保HiveonSpark的兼容性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CDH6.3.0环境使用set hive.execution.engine=spark启用spark引擎执行hql报错

背景描述

此前在开发环境测试使用hudi将数据写入hive表时，在/opt/cloudera/parcels/CDH/lib/hive/lib路径下新增hudi相关jar包：hudi-hadoop-mr-bundle-0.11.1.jar

报错内容

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. hbase-default.xml file seems to be for an older version of HBase (2.4.9), this version is 2.1.0-cdh6.3.0

从内容看是在task拆分阶段返回了报错，报错原因是hbase的版本过低。通过查阅网上资料最终把错误定位在/opt/cloudera/parcels/CDH/lib/hive/lib路径下的jar包里，排查发现hudi相关jar包：hudi-hadoop-mr-bundle-0.11.1.jar，尝试移除该jar包后，重试hive on spark可以正常执行hql

猿途漫漫
关注
CDH6.0、6.1篇：8、CDH的 hive on spark配置及解析、优化
laughing1997的博客
03-29 8057
分三个章节 1、版本展示 2、CDH安装spark 3、优化配置信息 ----------------------分割线---------------------------------------- 1、版本展示 1.所有版本：https://www.scala-lang.org/download/all.html 2.11.8版本：https://www.scala-lang.org/dow...
在 CDH 中调优 Apache Hive on Spark
海边无限的专栏
05-05 1529
Spark 上的 Hive 在提供相同功能的同时提供比 MapReduce 上的 Hive 更好的性能。在 Spark 上运行 Hive 不需要更改用户查询。具体来说，完全支持用户定义函数 (UDF)，并且大多数与性能相关的配置都使用相同的语义。 本主题介绍如何在 Spark 上配置和调整 Hive 以获得最佳性能。本主题假设您的集群由 Cloudera Manager 管理，并且您使用 YARN 作为 Spark 集群管理器。 以下部分中描述的示例假设一个 40 主机 YARN 集群，每台主...
基于CDH 5.9.1 搭建 Hive on Spark 及相关配置和调优
eric_lee的专栏
01-05 4631
Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差与Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度提升计算速度。接下来就如何搭建Hive On Spark展开描述。 　　注
cdh6.2.1下hive on spark配置使用，hue使用，beeline使用，hive-jdbc使用及日志进度获取
weixin_43455443的博客
03-31 2746
CDH6.2.1 环境 1、开启hive on spark配置： 在hive配置中搜索 spark ，更改一下配置： YARN 服务上的 Spark 选择spark 默认执行引擎 hive.execution.engine ：spark 执行程序初始数 spark.dynamicAllocation.initialExecutors ：2 ，启动sparksession时，默认初始启动的executor个数，如果配置了 set spark.executor.instances=3 （启动的e
hive on spark 出现的问题 Spark job failed during runtime. Please check stacktrace for the root cause.
qq_45875024的博客
02-29 850
引擎使用spark会出现各种问题，可以尝试将引擎换成MR。出现此问题，可能是表之间的连接出现了错误。此时将会报上述的错误。
CDH中将hive计算引擎调整为spark及hive引擎设置相关命令
HD0do的博客
05-14 3853
CDH中将hive计算引擎调整为spark 1.在CDH的hive中搜索配置参数：hive.execution.engine 2.第一步仅仅是修改的jdbc，也就是beeline远程连接时候计算引擎修改为hive，还需修改hive-site.xml中的hive.execution.engine配置文件为spark <!--Hive执行引擎--> <property> <name>hive.execution.engine</name> &lt
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
CDH 6.3.0下Hive on Spark搭建与调优实战
"基于CDH 6.3.0搭建Hive on Spark的详细步骤以及相关的配置和调优策略，适合大数据处理环境中的性能优化。文档涵盖了如何将Hive的默认计算框架MapReduce替换为Spark，以提升计算速度。文中特别提到了集群环境的硬件...
CDH之HIVE-ON-SPARK、Spark配置
ArYe
06-05 2598
hive on spark spark.driver.memory spark.executor.cores spark.executor.instances shuffle 动态分配
Hadoop搭建高可用集群，出现Container exited with a non-zero exit code 1. Error file: prelaunch.err.
l1682686的博客
09-02 7841
前情提要： 搭建好Hadoop HA集群后，试着跑一个wordcount， 结果居然出了这个问题： Container exited with a non-zero exit code 1. Error file: prelaunch.err. 捏????，怎么回事？之前伪分布式或者非高可用的完全分布式好像没有这个问题啊？ 于是百度，噢，原来是mapred-site.xml和yarn-site.xml里要加上classpath 输入hadoop classpath，出来一大串 然后复制这一大串，到map
CDH6.2.1 HiveOnSpark 报错问题解决
蝈蝈
11-17 2258
1 CDH6.2.1 HiveOnSpark 报错解决 错误1： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ is not supported in state standby. Visi
问题 Spark Yarn集群模式 exitCode = 13
zhangxiping
03-25 7917
背景 今天一同事在提交任务时遇到一个很奇葩的问题，使用的是集群模式提交的spark任务 下面是运行的日志： Log Length: 19060 20/03/25 14:43:03 INFO util.SignalUtils: Registered signal handler for TERM 20/03/25 14:43:03 INFO util.SignalUtils: Registered...
cdh hive on spark_CDH安装错误集锦（详细解决教程）
weixin_39811150的博客
11-28 298
这里是实际项目CDH安装过程中的一部分错误，如果大家也有类似的问题，可以查阅。更多的信息可以访问itstaredu.com官网进行学习和查看。Q:java.io.IOException: the path component: '/var' is world-writable. Its permissions are 0666. Please fix this or select a differ...
cdh6.3.2配置Hive on Spark
benpaodexiaowoniu的博客
05-03 6218
环境：戴尔xps15（32G内存、1T固态、外接雷电3接口的三星1T移动固态、WD Elements的4T外接机械硬盘）win10三台Centos7虚拟机用于测试cdh6.3.2集群（免费的社区版的最高版本）以及自编译phoenix5.1.0、flink1.10.0、elasticsearch6.6.0等各源码。 首先，该集群试用企业版功能到期后，无法启动Reports Manager角色（见...
spark on yarn container exited with a non-zero exited code 1 error file ：prelaunch。err
qq_41581936的博客
04-17 2013
在cdh集群上执行spark的demo可以跑通，但是在执行脚本跑jar包读写数据的时候，报错，请各位大佬帮忙看看 报错信息见图
spark on yarn 运行报错 prelaunch.err.
夜下探戈
03-28 6756
错误代码如下： [2019-03-28 17:50:04.728]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : /hadoop/yarn/local/usercache/defu.du/appcache/application_1...
Hive切换计算引擎
BabyFish13
10-16 3949
1、默认计算引擎mr set hive.execution.engine=mr; 2、spark计算引擎 set hive.execution.engine=spark; set spark.executor.cores=2; set spark.executor.memory=10G; set spark.executor.instances=10; set hive.mapred.m...
启动hive报错_HIVE搭建和使用
weixin_39634480的博客
11-22 611
HIVE是一个基于Hadoop的数据仓库，适用于一些高延迟性的应用（离线开发）。如果对延迟性要求比较高，则可以选择Hbase。Hive的工作原理简单的说就是一个查询引擎，接收到一个SQL，然后解析到集群能处理的程序（MR），最后返回结果。前提：需要已经安装配置好hadoop参考：https://zhuanlan.zhihu.com/p/116593502​zhuanlan.zhihu.comHiv...
hive on spark，报错 AM Container for appattempt_1710133588553_0001_000001 exited with exitCode: 13
最新发布
m0_66937803的博客
03-11 496
配置/资源都没问题的情况下，集群通信出问题也会产生这个错误。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值