已解决Hive on Spark Failed to execute spark task, with exception ‘org.apache.hadoop.hive.gl.metadata...

Gnrlm

已于 2024-08-18 21:41:12 修改

阅读量328

点赞数 1

文章标签： hadoop hive spark

于 2024-08-11 10:39:04 首次发布

本文链接：https://blog.youkuaiyun.com/m0_70928729/article/details/141102416

版权

场景：

搭建hadoop数仓时部署hive on spark

报错：

Failed to execute spark task, with exception 'org.apache.hadoop.hive.gl.metadata.HiveException(FailedTcreate Spark client for Spark session 272d523b-d472-4d93-8610-7ef9ac7e07a2)AILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failedto create Spark client for Spark session 272d523b-d472-4d93-8610-7ef9ac7e07a2

解决思路：

先去查一下hive的日志

vim $HIVE_HOME/conf/hive-log4j2.properties

报错显示103的8032（MR）端口拒接链接使用nc测试一下

nc -zv hadoop103 8032

测试结果不通的好像是启动集群时103的mr没起来

sbin/start-yarn.sh

jps检查一下（这里用的是xca

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Gnrlm

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hive on spark 执行失败

qq_39035267的博客

08-30

2282

hive on spark执行报错

Hive On Spark报错：Failed to execute spark task, org.apache.hadoop.hive.ql.metadata.HiveException

最新发布

2301_76168512的博客

03-18

274

重新配置hive和spark还是没解决，提示hive-site.xml格式不正确，后来发现Hadoop目录下也有hive-site.xml，且为空。后来将hive目录下的hive-site.xml复制到Hadoop目录下，问题解决。学习尚硅谷电商数仓6.0，之前没配置过hive，第一次跟文档配置，测试成功。第二天在使用Datagrip时，插入数据报错。

HiveOnSpark报错Failed toexecutespark taskwithexceptionorg.apache.hadoop.hive.ql.metadata.HiveException

qq1253507478的博客

08-12

6385

HiveOnSpark报错Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session) FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

hive on spark ：Failed to execute spark task, 'org.apache.hadoop.hive.ql.metadata.HiveException

Ahuuua的博客

11-19

1万+

报错： Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)' FAILED: Execution Error, return code 1 from org.apache.hadoop.hive....

Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.

weixin_45802075的博客

04-04

1445

显示执行不了spark task，网上很多都说在 /opt/module/hive/conf/hive-site.xml文件中添加超时设置，我设置了，还是不行。整整700多秒，我的电脑真的不行啊。

hive on spark报错 Failed to execute spark task,(Failed to create Spark client for Spark session

m0_46507516的博客

10-08

1534

hive on spark

hive报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

qq_35155680的博客

09-07

1万+

问题描述：创建表时，没有问题。简单插入数据出现这个报错。 hive报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException： Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session f

Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Sp

qq_43416132的博客

06-28

3062

无

hive 插入数据报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransport

qq_40555400的博客

03-24

7158

问题描述执行语句 create table test(id int); 然后向新创建的表中插入数据 insert into test values(1); 控制台报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransportException at org.apache.hadoop.hive.ql.metadata.Hive.setPartitionColumnSta

记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

FunnyPrince_的博客

10-05

1万+

问题描述：在部署hive on spark，测试时报错，执行建表操作成功，但是插入insert出现以下错误： Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44)’ FAILED: Execution

【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

01-07

ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记前言在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn的一些参数进行调优，最后重启了集群。当我提个任务（spark on yarn）并且看到并发及资源的分配情况正如自己先前所料的时候，我长舒了一口气，端起杯子拿上手机起身打算去接杯水消遣一下。然而我一杯温水接完凑在嘴边，眼睛扫了一下手机刚打算痛饮一番的时候，同事在群里惊呼报错的消息就

Hive On Spark报错

huangweicheng123的博客

06-14

1679

Hive On Spark环境中执行selectcount语句时候报错： Failedto execute spark task, with exception'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create sparkclient.) 如图：报错完整信息是： hive> select coun...

hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041

想练武，就得下功夫

07-29

8379

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 50cec71c-2636-4d99-8de2-a580ae3f1c58)' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.

Hive on spark FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark

qq_45808446的博客

09-21

2391

最近跟着尚硅谷在做项目，做到Hive on spark时卡住了，在执行count(*)和插入语句时出现如上错误。这里我的hive是可以用的，spark也是可以用的，但将Hive的引擎改为spark 就不可以用了。所以在这里记录一下怎么解决以及思路。

hive on spark insert报错

m0_74857268的博客

10-14

915

在hive-site.xml增加下面的配置，防止因为连接时间过长导致超时报错。原因：没有spark-history文件。原因：没有连接上spark。在hdfs上创建此文件。

ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTa

could9的博客

11-29

4553

ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 865074b2-2fd8-4af8-a351-393d4c0c20a0 INFO : Completed executing command(queryId=hive_20211129103501_ca7

记录hive on spark 的报错总结

m0_66693152的博客

07-27

544

这里是刚刚开始使用hive on spark的时候遇到的当时第一反应就是去百度查了很多，有在hive-site.xml中增加连接超时连接的、等等，但是试了挺多的然后还是不得，然后又到yarn上查看日志报错就看到下面这个/bin/bash: /bin/java: No such file or directory 当时就看到这个，就比较疑惑为啥没有？最后百度找了一下说是得yarn-env.sh 上添加下面这个重启在运行一次然后yarn上日志又变了。

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 20912084-69b4-4561-86f3-ca0f6e395624)'

06-09

这个错误通常是由于 Spark 无法连接到 Hive 元数据存储或者 Hive 元数据存储的配置有误导致的。具体的解决方法可以参考以下步骤： 1. 检查 Spark 和 Hive 的版本是否兼容。如果版本不兼容，会导致 Spark 无法连接到...