CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

最新推荐文章于 2023-12-29 14:03:41 发布

原创最新推荐文章于 2023-12-29 14:03:41 发布 · 915 阅读

1 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

16 篇文章

订阅专栏

本文记录了在CDH5.16环境下将Spark从1.6版本升级到2.x版本的过程及遇到的问题。在升级过程中，因删除Spark1.6并安装Spark2后，运行Spark命令时出现java.lang.NoClassDefFoundError异常。通过安装Gateway组件、配置Spark-env.sh、部署客户端配置等步骤成功解决问题。

最近为了适配客户版本，搭建了CDH5.16版本的数据数据环境。而默认的Spark是1.6版本的，为配合客户需要升级成Spark2，由于机器资源有限制，先把Spark1.6删除了，下载SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel包，进行了安装。安装完成之后，运行Spark的相关命令就报java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream异常，我使用的命令是spark2-submit时报错，其实所有Spark相关命令都是一样的错误。

特别需要注意是：

spark2的提交命令是Spark2-submit，系统可能会有spark1.6的命令spark-submit干扰。

使用Spark的命令的机器需要安装Gateway组件，然后需要deploy client configuration(部署客户端配置）。个人认为既然使用CDH Manager，如果还去机器上直接改配置的，那还要CDH Manager干啥？网上有很多答案，都说教人要改这改那的，这命令那么命令的，可能别人也没搞明白为啥会出那样的问题。

错误信息如下：

[root@hadoop60 ~]# spark2-submit
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124)
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.deploy.SparkSubmitArguments.mergeDefaultSparkProperties(SparkSubmitArguments.scala:124)
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:110)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 7 more
[root@hadoop60 ~]#

解决步骤：

1. 选择需要使用Spark命令的机器上安装Gateway组件