Hive on Spark 报错

最新推荐文章于 2025-01-02 11:15:23 发布
最新推荐文章于 2025-01-02 11:15:23 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hive Spark实战 技术总结 文章标签： hive spark
本文为博主（李孟）原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/qq_19968255/article/details/82803698
本文详细介绍了在尝试使用Hive on Spark时遇到的一系列错误及解决方案，包括：1) spark2.0.0后jar包变化；2) 过时的hive.enable.spark.execution.engine配置；3) Hive和Spark版本不匹配问题；4) 缺少Scala相关类库；5) impersonation权限问题；6) Hive和Metastore版本不一致的问题。解决这些问题需要正确配置文件、更新版本以及调整环境变量。

1.自从spark2.0.0发布没有assembly的包了，在jars里面，是很多小jar包

修改目录查找jar

2.异常HiveConf of name hive.enable.spark.execution.engine does not exist

在hive-site.xml中：

hive.enable.spark.execution.engine过时了,配置删除即可

 

3.异常

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)' FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

Spark与hive版本不对,spark的编译，在这里我使用的是hive稳定版本2.01,查看他的pom.xml

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CDH6.2.1 HiveOnSpark 报错问题解决
蝈蝈
11-17 2295
1 CDH6.2.1 HiveOnSpark 报错解决 错误1： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ is not supported in state standby. Visi
Hive性能提升秘籍：从Hive on MR到Hive on Spark的深度实践
u010192213的博客
11-13 806
主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤可参阅之前内容。
HiveOnSpark报错Failed toexecutespark taskwithexceptionorg.apache.hadoop.hive.ql.metadata.HiveException
qq1253507478的博客
08-12 6426
HiveOnSpark报错Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session) FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
Hive On Spark 报错：Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
Y_Aryan的博客
02-22 2853
脚本中含有：数据装载进hive表的sql语句，在执行脚本的时候发生报错。
hive on spark报错 Failed to execute spark task,(Failed to create Spark client for Spark session
m0_46507516的博客
10-08 1570
hive on spark
Hive on spark FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark
qq_45808446的博客
09-21 2563
最近跟着尚硅谷在做项目，做到Hive on spark时卡住了，在执行count(*)和插入语句时出现如上错误。这里我的hive是可以用的，spark也是可以用的，但将Hive的引擎改为spark 就不可以用了。所以在这里记录一下怎么解决以及思路。
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
【hive on spark】hive on spark任务报错Connection to remote Spark driver was lost
zx1414iang的博客
02-22 4352
hue执行不用引擎sql导致任务中断
hive报错 spark_【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkT...
weixin_28976057的博客
01-12 2867
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.前言报错信息异常分析配置改动后记前言在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn的一些参数进行调优，最后重启了集群。当我提个任务(spark on yarn)并且看到并...
记录hive on spark 的报错总结
m0_66693152的博客
07-27 608
这里是刚刚开始使用hive on spark的时候遇到的当时第一反应就是去百度查了很多，有在hive-site.xml中增加连接超时连接的、等等，但是试了挺多的然后还是不得，然后又到yarn上查看日志报错就看到下面这个/bin/bash: /bin/java: No such file or directory 当时就看到这个，就比较疑惑为啥没有？最后百度找了一下说是得yarn-env.sh 上添加下面这个重启在运行一次然后yarn上日志又变了。
hive on spark 读取json数据失败
啥也不会的博客
05-19 1622
昨天帮朋友分析了个问题：hive on spark场景下，使用json数据格式存储文件，使用hive自带的序列化方式。当计算引擎为mr时，可以正常读取，使用spark引擎时报错。 建表语句如下： 报错如下： 看到这个报错，估计是序列化和反序列化方式不匹配导致的，查看日志，果然是因为找不到反序列化器。日志报错如下： 解决思路： 1.将hive序列化方式的jar包添加到spark的lib目录下。 2.建表时使用自定义的序列化方式，并将自定义序列化方式的jar包分别放进hive和spark
hive on spark 执行失败
qq_39035267的博客
08-30 2337
hive on spark执行报错
hive on spark报错解决(基于hive-3.1.3和spark-2.3.0)
最新发布
我不会敲代码的博客
01-02 852
报以上问题时，博主给的方法是置换guava版本，实际有人存在，对就是我，置换版本之后hive之间无法启动了，那么又该如何解决呢？很简单，在该博主的步骤中上传spark纯净版jar下的jar包到hdfs上时，其实无需上传。这个包，已上传的删除即可正常运行！原作者：月亮给我抄代码 他写的很详细。
Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile
qq_43688472的博客
12-18 3051
还有一些其他可能的原因，例如内存不足、Hive配置参数等。可以尝试调整Hive on Spark的相关配置参数，例如mapred.map.child.java.opts和mapred.reduce.child.java.opts，以及hive.auto.convert.join等参数，来解决内存不足的问题。最后，建议查看Spark任务的详细日志，以获取更多关于作业失败的具体原因。这可能是由于多种原因导致的，例如内存不足、JSON数据格式错误、缺少JSON Serde等。
spark sql on hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.
AiBigData的博客
05-08 7275
Spark sql on hive报如下的错误 ob failed with org.apache.spark.SparkException: File ./hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar exists and does not match contents of .../hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar FAILED: Execution Error, return
Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
二十一克阳光！的博客
06-23 1932
通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中，在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用Distributed Cache将小表分发到各个节点上，以供Mapper加载使用)，由于在map时进行了join操作，省去了reduce运行的效率也会高很多。
Hive on Spark中遇到的Failed to create Spark client for Spark session的问题
Andy86666的博客
01-05 2367
占用，而导致Map Task和 Reduce Task不能执行。在生产中不需要调整，在这里调整主要是我自己电脑资源不足导致的。参数实现的，默认值为0.1，即10%的资源。主要是为了防止大部分资源的被。可以通过rsync 或者 scp 分发给其他节点中。在自学数仓项目中，遇到以下问题。，它会每个资源队列中运行的。占用的资源进行啦限制，是在。导致出现这个问题主要是。文件分发给其他节点中。
hive on spark 任务运行报错：Failed to create Spark client for Spark session xxx
weixin_52620153的博客
03-15 1316
项目bug解决
Hive执行 报错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
goTsHgo的博客
12-08 9986
项目场景： HiveOnSpark环境下执行hive脚本，报错。 问题描述： 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); } 原因分析： ..
hive on spark 报错GC overhead limit exceeded
08-18
- *1* *2* *3* [spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded](https://blog.youkuaiyun.com/sigurwang/article/details/107362066)[target="_blank" data-report-click={"spm":"1018.2226...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李孟聊人工智能

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值