Hive<找不到Spark-assemblyJar包>

最新推荐文章于 2023-04-12 19:23:05 发布
最新推荐文章于 2023-04-12 19:23:05 发布
阅读量4k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hive 文章标签： hive jar
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Gpwner/article/details/73457108
本文介绍了解决Hive启动时报错找不到spark-assembly相关Jar包的问题。由于Spark2之后，大JAR包被拆分成多个小JAR包，原有的spark-assembly-*.jar不再存在。文章提供了一个简单的修改方案，通过调整hive脚本来解决问题。

版本：

apache-hive-1.2.1-bin.tar.gz
spark-2.1.1-bin-hadoop2.7.tgz

1.问题陈述：

启动Hive的时候会说找不到spark-assembly相关的Jar包

cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory

2.原因：

spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。

3.解决办法

进入hive安装路径下的bin目录下，编辑hive
我的路径是：/usr/local/apache-hive-1.2.1-bin/bin
找到下面这行shell脚本

sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`

将其修改为：

  sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
hive报错-ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Exception in thread “main“
weixin_63507910的博客
04-03 734
ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.j
beeline连接hive时找不到spark-assembly-*.jar问题
唐小厨的博客
11-03 550
`[user@weifenbu ~]$ beeline -u jdbc:hive2://192.168.72.50:10000 ls: 无法访问/home/user/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 Connecting to jdbc:hive2://192.168.72.50:10000 Error: Could not open...
Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法
weixin_44519124的博客
04-10 2920
最近将整个架构升级到spark 2.0.0之后，发现一个问题，就是每次进行hive --service metastore启动的时候，总是会报一个小BUG。 无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。 其主要的原因是：在hive.sh的文件中，发现了这样的命令，原来初始当spark存在的时...
Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
zhang__rong的博客
03-25 623
1、问题描述 自从spark2.0.0发布之后，每次启动hive的时候，总会发现一个小问题，启动hive --service metastore的时候，会报一个小BUG: 无法访问<PathToSpark>/lib/spark-assembly-*.jar 分析其源码架构，发现主要原因是：在/<PathToHive>/bin/hive文件中，有这样的...
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
在标题"spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址"中，我们关注的是Spark与Hive的特定版本（2.11）的集成，以及Spark SQL和Spark对Hadoop的支持。这里的2.11可能指的是Scala的版本，因为Spark是用...
spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar
04-01
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
spark-hive-thriftserver_2.11-2.4.5.jar
11-21
spark和hive结合依赖，如何使用请看我博客https://blog.youkuaiyun.com/z1987865446/article/details/109372818
启动hive报错----缺少spark-assembly-*.jar
qq_824203453_的博客
06-15 7510
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80710169 交流QQ: 824203453   操作版本： hive版本  1.2.1   spark版本 2.2.0 启动hive时，报如下错误提示：   问题剖析：   启动hive，提示找不到 spar...
hive启动报错，找不到spark的jar包们
上海菁数信息技术
04-28 3631
类型下面的报错 cannot access /usr/local/spark/lib/spark-assembly-*.jar:  No such file or directory 编辑你的hive启动脚本 vim /usr/local/hive/bin/hive更改116行的内容，我的版本是1.2.2的hive if [[ -n "$SPARK_HOME" ]] then
Spark配置HOME之后使用hive命令会报 $SPARK_HOME/lib/spark-assembly-*.jar: 没有那个文件或目录
别人笑我太疯癫，我笑他人看不穿。
01-14 1251
报这个错误说明你的hive使用的版本较低，hive命令脚本任然是Spark2.0之前的结构 Spark2.0之后没有lib这一文件了，改成了jars文件，因此我们编辑hive命令脚本找到如下内容 # add Spark assembly jar to the classpath if [[ -n "$SPARK_HOME" ]] then sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar` CLASSPATH="${CLASSP
启动hive出现 ls: 无法访问/opt/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
weixin_45417821的博客
09-06 2987
启动hive的时候出现如下错误 [root@Bigdata01 bin]# hive ls: 无法访问/opt/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 20/09/03 20:29:03 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist Logging initialized using configuration in jar:file:/opt/mo
启动hive，提示ls: 无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录...
weixin_30835933的博客
09-11 431
原因是：spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。 解决办法是：修改bin目录下的hive文件。 转载于:https://www.cnblogs.com/2016-zck/p/11506473.html...
hive命令无法用，提示：spark-assembly-*.jar: 没有那个文件或目录
fen_fen的专栏
03-21 446
将上方 修改为：sparkAssemblyPath=再次用hive可以进入。
记录hive on spark缺少包ClassNotFoundException: org.antlr.runtime.tree.CommonTree的异常解决
appleYQL的博客
04-12 1016
ClassNotFoundException: org.antlr.runtime.tree.CommonTree
<dependencies> <!-- 日志框架 --> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.2.10</version> </dependency> <!-- Hive 核心支持 --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.3.6</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> </exclusions> </dependency> <!-- HBase Handler --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-hbase-handler</artifactId> <version>2.3.3</version> </dependency> <!-- Zookeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.6</version> </dependency> </dependencies>
最新发布
04-23
### SLF4J Multiple Bindings 冲突问题解决方案 当项目中存在多个 SLF4J 绑定时，可能会引发 `SLF4J: Class path contains multiple SLF4J bindings` 的警告或错误。这是因为 SLF4J 同时检测到了多个实现类（如 Logback 和 log4j）。以下是解决此问题的方法： 通过 Maven 或 Gradle 排除多余的依赖项来解决问题。例如，在 Maven 中可以使用 `<exclusions>` 来移除不需要的绑定库。 #### Maven 配置示例 ```xml <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.36</version> </dependency> <!-- 如果使用 Logback --> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.2.11</version> </dependency> <!-- 排除其他不必要的绑定 --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.3.6</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> </exclusions> </dependency> ``` 以上配置确保只保留一种日志框架实现（如 Logback），并通过排除多余绑定消除冲突[^1]。 --- ### Hive HBase Handler 及 Zookeeper 依赖缺失修复方案 对于 `hive-hbase-handler` 和 `zookeeper` 依赖缺失的问题，可以通过引入相应的 Maven 依赖来解决。具体如下： #### 添加 Hive-HBase-Handler 依赖 在项目的 `pom.xml` 文件中添加以下依赖： ```xml <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-hbase-handler</artifactId> <version>2.3.6</version> </dependency> ``` #### 添加 Zookeeper 依赖 如果项目缺少 Zookeeper 支持，则需显式声明其依赖关系： ```xml <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.5.9</version> </dependency> ``` 注意：Zookeeper 版本应与当前使用的 Hadoop/Hive 环境兼容[^2]。 --- ### 总结 为了彻底解决上述问题，建议按照以下步骤操作： 1. 使用 Maven/Gradle 工具管理依赖； 2. 显式指定所需的日志框架实现（如 Logback）并排除冗余绑定； 3. 补充必要的组件支持（如 Hive-HBase-Handler 和 Zookeeper）。 最终目标是构建一个清晰、无冲突的依赖树结构，从而保障应用运行稳定性和性能表现。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值