Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2

最新推荐文章于 2025-04-17 11:42:57 发布

麻辣香蕉

最新推荐文章于 2025-04-17 11:42:57 发布

阅读量4.5k

点赞数 2

分类专栏： hive

本文链接：https://blog.youkuaiyun.com/weixin_36524613/article/details/106905074

版权

hive 专栏收录该内容

2 篇文章

订阅专栏

在使用Spark提交至CDH集群YARN模式时遇到初始化错误，详细错误信息为HiveConf初始化失败，由Hadoop版本识别错误引起。解决方法涉及修改pom文件，注释掉spark-hive依赖。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark任务提交cdh集群yarn模式执行报错：

Exception in thread "main" java.lang.ExceptionInInitializerError
   at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:105)
   at java.lang.Class.forName0(Native Method)
   at java.lang.Class.forName(Class.java:348)
   at org.apache.spark.util.Utils$.classForName(Utils.scala:238)
   at org.apache.spark.sql.SparkSession$.hiveClassesArePresent(SparkSession.scala:1117)
   at org.apache.spark.sql.SparkSession$Builder.enableHiveSupport(SparkSession.scala:866)
   at com.tyx.ml.Run$.main(Run.scala:26)
   at com.tyx.ml.Run.main(Run.scala)
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
   at org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion(ShimLoader.java:174)
   at org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.java:139)
   at org.apache.hadoop.hive.shims.ShimLoader.getHadoopShims(ShimLoader.java:100)
   at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:368)
   ... 8 more

解决办法：

打开pom文件

注释掉：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.11</artifactId>
    <version>${spark.version}</version>
</dependency>