Spark集群整合hive以及java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning问题解决

最新推荐文章于 2023-11-22 09:52:06 发布
最新推荐文章于 2023-11-22 09:52:06 发布
阅读量1k 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/onthe_wing/article/details/119740198
版权
本文介绍了如何在集群环境中整合Spark与Hive，包括删除metastore_db和spark-warehouse文件，导入配置文件如hive-site.xml和core-site.xml等。在整合过程中可能遇到`java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning`的问题，解决方法是将Spark配置中的Hive引擎设置为MR。最后，提供了使用spark-shell和spark-sql进行操作的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过spark操作hive中的数据

在集群（服务器）上整合

步骤

1.如果在spark的bin目录下存在metastore_db或者spark-warehouse文件，将这两个文件删除
2.导入配置文件

1.hive/conf/hive-site.xml
2.hadoop/etc/hadoop/core-site.xml和hdfs-site.xml
将上述三个文件放入spark/conf目录下，这样就整合好了

3.问题

如果遇到以下问题
在这里插入图片描述

在这里插入图片描述
将spark下的conf目录中的hive-site.xml里引擎的配置改为mr,这样问题就解决了
在这里插入图片描述

4.使用

1.使用spark/bin目录下的spark-shell
在这里插入图片描述
2.使用spark-sql可以直接使用sql语句进行操作
在这里插入图片描述

最低0.47元/天 解锁文章
onthe_wing
关注
sqoop报错Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning
yy的博客
11-02 2294
问题: hive切换引擎为tez之后,sqoop导入数据到内部表报错Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning 解决方法: vim /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/sqoop/conf/hive-site.xml 修改下面参数为mr: (这里不要使用hive/conf下的h...
tez报错 java.lang.ClassNotFoundException: com.esotericsoftware.kryo.pool.KryoFactory
yy的博客
07-12 1544
报错内容: Vertex failed, vertexName=Map 1, vertexId=vertex_1624327491036_0158_1_00, diagnostics=[Vertex vertex_1624327491036_0158_1_00 [Map 1] killed/failed due to:INIT_FAILURE, Fail to create InputInitializerManager, org.apache.tez.dag.api.TezReflectionExc..
[报错]Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning(没用)
胖胖的博客
08-09 906
Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
weixin_43806056的博客
10-17 7330
IDEA编写程序：spark SQL连接 hive 报错：java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 我的问题出现在： 方法一： 把hive-site.xml拷贝到idea的resources中后，hive-site.xml中的一个配置需要改： 简单来说，把 “hive.execution.eng...
Hive启动时遇到java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning报错
weixin_43586713的博客
05-08 3541
Hive启动的时候报错如下图所示： 因为这个Bug搞了三小时，在这里记录以下，避免下次踩坑。 在Hive启动的时候去配置启动引擎为tez，之后启动hive遇到错误： java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 显示会话服务无法开启。 解决方法：将tez和tez/lib下的jar包都复制到hive/lib目录下。 编辑hadoop-env.sh： vim $HADOOP_HOME/etc/hadoop/ha
Hive启动报错：java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration
之一先生专栏
10-06 3544
<!-- Hive启动报错： Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration 出现问题的原因： 因为没有集成tez，重启后依然会报错，但是60000ms后会自动重试启动（一般重试后会启动成功） 这算是一个遗留问题，但是不影响客户端正常连接，只是启动时间会多了60秒。 解决方案： 配置文件hive
spark读取hive异常，java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
lpacino的博客
11-03 848
环境： HDP2.6.4 Spark2.2.0 Hive1.2.1 背景： 使用spark代码读取hive表数据，写入clickhouse表，相同的代码在其他HDP集群正常使用，更换新环境后，报以下异常： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoop.hive.ql.session.SessionS
Hive: java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found
砍柴人的博客
02-25 971
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. Query ID = root_20210225123435_1324c293-cd8b-42be-802d-339619ddd885 Tot..
【hive】java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration的解决方案
weixin_44917271的博客
12-01 5986
启动HiveServer2中或者外部客户端连接HiveServer2时候有可能出现此异常，具体是 java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration 解决方案是：配置文件hive-site.xml中的hive.execution.engine属性值由tez修改为mr，然后重启HiveServer2即可。因为没有集成tez，重启后依然会报错，但是60000ms后会自动重试启动（一般重试后会启动成功） 这算是一个遗留
java.lang.NoClassDefFoundError org.apache.xml.serializer.TreeWalker.doc
10-09
在jsp运行过程中，报错 java.lang.NoClassDefFoundError org.apache.xml.serializer.TreeWalker时的处理方法。
org/apache/tez/dag/api/SessionNotRunning
彪叔的博客
06-29 1105
hive --service hiveserver2 10000 & 启动时报以下错误： 2021-06-29T17:21:34,284 WARN [main] server.HiveServer2: Error starting HiveServer2 on attempt 1, will retry in 60000ms java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
qq_43759478的博客
08-15 1257
加上这个(如果有就修改，没有就添加）修改hive-site.xml。再次启动hiveserver2。
hiveserver2 启动慢，查看日志出现报错java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
OnceAchive的博客
11-22 884
启动 hiveserver2 时很慢，需要等待一段时间才能使用，通过查看 /tmp/user/hive.log 日志文件发现，存在如下警告。在conf/hive-site.xml中添加如下。重启hiveserver2，即可快速启动。
java部署出错：java.lang.ClassNotFoundException: org.apache.jsp.index_jsp
mztt的博客
03-30 5660
下午部署项目出错，maven 引入jstl 是 1.2， 解决如下： 错误： 1.The absolute uri: http://java.sun.com/jsp/jstl/core cannot be resolved in either web.xm 2.java.lang.ClassNotFoundException: org.apache.jsp.index_jsp 解决 最后在goo...
HIVE java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration at org.apache.h
80后大叔爱学习
01-21 5407
vi hive-site.xml 搜索：<name>hive.server2.active.passive.ha.enable</name>
启动hive报错 org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application
张俊杰 的博客
10-27 1970
错误 Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1602825966780_0008 failed 2 times due to AM Container for appattempt_1602825966780_0008_000002 exited with
hive on spark 配置时报错：Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorPa
jackfeng86的专栏
12-27 4406
1.执行sql语句，报错信息。 hive> insert into table student values(1,'abc'); Query ID = atguigu_20200814150018_318272cf-ede4-420c-9f86-c5357b57aa11 Total jobs = 1 Launching Job 1 out of 1 In order to change the average load for a reducer (in bytes): set hive.exec
spark连接hive报错：java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
qiangzi_lg的博客
06-11 5662
错误信息如下： 20/06/11 11:04:35 INFO HiveUtils: Initializing HiveMetastoreConnection version 3.0 using Exception in thread "main" java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf when creating Hive client.
java.lang.classnotfoundexception: org.apache.hadoop.hive.ql.io.parquet.mapre
最新发布
12-31
java.lang.ClassNotFoundException是Java编程中的一个异常类，它表示无法找到指定的类。在你提供的问题中，异常的完整名称是java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.io.parquet.mapreduce.ParquetInputFormat。 这个异常通常发生在Java程序中使用Hadoop和Hive进行数据处理时。它的出现意味着Java虚拟机(JVM)无法加载指定的类。 主要原因可能有以下几种情况： 1. 缺少相关的依赖库：在使用Hive和Parquet进行数据处理时，需要正确配置和引入相关的依赖库。如果依赖库缺失或版本不匹配，就可能导致ClassNotFoundException的异常。解决方法是确保所有的依赖库都被正确引入，并且版本相互兼容。 2. 类路径配置错误：JVM在运行Java程序时会在类路径中查找需要的类。如果类路径没有正确配置，就无法找到目标类，也会触发ClassNotFoundException。检查类路径配置，确保包含了正确的依赖库和类路径。 3. 类名拼写错误：有时候，类名可能被错误地拼写，导致JVM无法找到目标类。在这种情况下，只需检查并修正类名的拼写错误即可。 综上所述，java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.io.parquet.mapreduce.ParquetInputFormat是一个Java类加载异常，常见于使用Hadoop和Hive进行数据处理时。解决这个问题的关键是检查依赖库的引入、类路径的配置和类名的拼写，确保所有配置正确无误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值