cdh集群输入spark-shell提示如下错误

最新推荐文章于 2022-07-10 14:13:53 发布
最新推荐文章于 2022-07-10 14:13:53 发布
阅读量654 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： CDH 文章标签： spark2-shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lvtula/article/details/88854004
本文记录了一次使用Spark2-shell遇到的问题及解决方法。当尝试运行spark-shell时出现NoClassDefFoundError异常，原因是系统中安装了CDH并集成了Spark2，但启动命令使用了spark-shell而非spark2-shell。解决这一问题只需更改为spark2-shell即可。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[hdfs@mini2 ~]$ spark-shell 
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:123)
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:123)
        at scala.Option.getOrElse(Option.scala:120)
        at org.apache.spark.deploy.SparkSubmitArguments.mergeDefaultSparkProperties(SparkSubmitArguments.scala:123)
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:109)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:114)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 7 more

 

原因：我的cdh集成的是spark2 应该输入spark2-shell

CDH集群spark-shell执行过程分析
萌兔兔MMQ！！
07-30 590
目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解spark-shell执行启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行spark-shell启动过程分析。...
安装CDH后启动spark-shell报错解决方案
jaysen1005的博客
02-28 2440
描述 安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，报错了，报错了！错误信息如下： 19/02/28 13:45:06 ERROR spark....
sparkOnYarn报错org.apache.hadoop.fs.FSDataInputStream
05-08 887
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.deploy.SparkSubmitArguments.handleUnknown(SparkSubmitArguments.sca...
cdh启动spark-shell报错
qq_43670527的博客
05-14 487
安装好cdh和spark之后启动spark-shell报错 org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 将这个勾选去掉就可以了
CDH安装Spark2后执行spark-shell报错
weixin_36815898的博客
03-10 354
CDH集群，使用CM安装完Spark2，使用spark2-shell报错 报错信息如下 [root@hadoop103 ~]# spark2-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 21/03/10 19:53:53 ERROR spark.SparkContext: Error
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
weixin_36815898的博客
03-09 4946
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream CDH5.16.2执行spark-submit或者spark-shell 时报错 [root@hadoop103 ~]# spark-submit Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStre
spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz
10-19
5. 可以通过`spark-shell`或`pyspark`启动交互式环境，或者编写Spark应用程序并使用`spark-submit`提交到集群上运行。 在实际应用中，你可能还需要考虑Spark与CDH中其他组件的集成，例如Hive、Impala，以实现更高效...
【Spark】Spark安装和Spark-shell使用
晚风中的自由
10-27 1520
一、spark的安装模式 1、本地模式（local），单点模式，非分布式模式，只需要用到一台机器； 2、standalone模式，是spark自己实现的独立调度器，它是一个资源调度框架；Spark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式，该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成，在Spark 的Standalone模式中，主节点为mas...
spark-2.4.6-bin-2.6.0-cdh5.7.0.tgz
07-25
在测试和个人使用环境中，Spark 2.4.6-bin-2.6.0-cdh5.7.0的压缩包可以方便地部署在单机或多节点集群上，通过简单的配置即可启动Spark Shell或提交Spark应用程序进行数据处理。 总的来说，Spark 2.4.6结合Hadoop ...
CDH5.14安装Spark报错：Error: JAVA_HOME is not set and could not be found.
猫不夜行的博客
11-26 1201
安装spark过程 报错： Error: JAVA_HOME is not set and could not be found. 排查java是否装好： [root@node02 module]# java -version java version "1.8.0_91" [root@node02 module]# export declare -x CLASSPATH=".:/*/*...
5.启动spark-shell
大JAVA解决方案
04-07 2194
1.安装配置JDK2.安装配置Spark，修改Spark配置文件(两个配置文件spark-env.sh和slaves)vim spark-env.sh#指定JAVA_HOME位置export JAVA_HOME=/usr/local/jdk1.7.0_80#指定spark老大Master的IPexport SPARK_MASTER_IP=hadoop-01.itcast.cn#指定spark老大M...
编译CDH的spark1.5.2
Ran
04-02 1201
编译CDH的spark1.5.2
spark运行时出现错误Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD
cjlion的专栏
10-23 1万+
原因：自己在pom文件中加入  &lt;scope&gt;provided&lt;/scope&gt; 此标签表示编译环境可用，运行时则不可用，主要是在 打包时不将这些依赖打进来，因为服务器上有，以免包过大 解决方案：本地运行时注销掉&lt;scope&gt;provided&lt;/scope&gt;,reimport maven projects   Exception in th...
CDH版本spark报Exception in thread "main" java.lang.NoClassDefFoundError:org/slf4j/impl/StaticLoggerBind
weixin_43079984的博客
03-19 3895
原因是/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/jars目录下缺少jar包 slf4j-log4j12-1.7.5.jar 即使有相关的jar包也要看slf4j和log4j版本是否能匹配 参考博文 https://blog.csdn.net/langtian08/article/details/82015017 https://bl...
Caused by: java.lang.ClassNotFoundException常见异常解决方法
热门推荐
关注我看更多东西
05-19 9万+
常见的Caused by: java.lang.ClassNotFoundException异常原因
spark的异常处理:ClassNotFoundException
hey_girl_的专栏
07-10 2440
spark异常处理ClassNotFoundException，多注意细节，关注排障过程
spark-shell报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSData
weixin_43390992的博客
07-10 4060
CDH spark-shell 报错： spark-shell报错：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream 环境： openSUSE42.2 spark1.6.0-cdh5.15.1 Hadoop 2.6.0-cdh5.15.1 按照网上的...
运行Spark程序，java.lang.ClassNotFoundException的解决
quitozang的博客
11-21 9470
IDEA中运行出现错误；打包成jar，submit命令提交正确执行 设置：SparkConf().setJars(List(pathtojar)) 其中pathtojar：jar包的绝对路径
spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ $SPARK_HOME/examples/jars/spark-examples_*.jar 10 Error: Unable to initialize main class org.apache.spark.deploy.SparkSubmit Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
最新发布
08-02
<think>我们正在解决的是Spark提交任务时出现的`java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream`错误。 根据引用[1][2][3][4]可知，该错误通常是由于缺少Hadoop相关的类库导致的。具体来说，`FSDataInputStream`是Hadoop文件系统的一部分，说明Spark在运行时无法找到Hadoop的类。 根本原因：Spark在运行过程中需要依赖Hadoop的类库，尤其是在使用HDFS等Hadoop组件时。如果Spark的类路径中没有包含Hadoop的jar包，就会抛出此异常。 解决方案： 1. **确保Hadoop已正确安装并配置环境变量** - 设置`HADOOP_HOME`为Hadoop的安装目录，并将`$HADOOP_HOME/bin`添加到`PATH`中。 - 验证：在终端运行`hadoop version`，应能输出Hadoop版本信息。 2. **配置Spark以包含Hadoop类路径** 在Spark的配置中，需要将Hadoop的类路径添加到Spark的类路径中。这可以通过设置`SPARK_DIST_CLASSPATH`环境变量来实现。 编辑Spark的配置文件`$SPARK_HOME/conf/spark-env.sh`（如果不存在，则复制`spark-env.sh.template`并重命名），添加以下内容： ```bash export HADOOP_HOME=/path/to/your/hadoop # 替换为实际的Hadoop安装路径 export SPARK_DIST_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath) ``` 注意：`hadoop classpath`命令会输出Hadoop运行所需的所有jar包和配置文件的路径，这样Spark就可以在启动时加载这些类。 3. **如果使用IDE（如IntelliJ IDEA）运行Spark程序** 需要手动将Hadoop的jar包添加到项目的依赖中。具体操作： - 找到Hadoop安装目录下的share文件夹，通常路径为`$HADOOP_HOME/share/hadoop`。 - 将以下目录中的jar包添加到项目的库中（具体添加方式取决于IDE）： - `$HADOOP_HOME/share/hadoop/common/` - `$HADOOP_HOME/share/hadoop/common/lib/` - `$HADOOP_HOME/share/hadoop/hdfs/` - ...（根据程序需要，可能还需要其他模块的jar包） 4. **如果使用spark-submit提交任务** 确保在提交任务时，Hadoop的类路径已经被正确设置（通过上述`spark-env.sh`配置）。此外，也可以使用`--driver-class-path`参数显式指定： ```bash spark-submit --class your.main.class \ --master yarn \ --driver-class-path $(hadoop classpath) \ your-spark-job.jar ``` 但更推荐使用`spark-env.sh`中配置`SPARK_DIST_CLASSPATH`的方式，这样就不需要在每次提交任务时都指定。 5. **检查Hadoop和Spark版本兼容性** 不兼容的版本可能会导致类加载问题。请参考官方文档，确保使用的Spark版本与Hadoop版本兼容。 6. **如果使用CDH或HDP等发行版** 这些发行版通常已经集成了Spark和Hadoop，并且配置好了类路径。如果出现此错误，可能是由于配置被修改。可以尝试重新安装或修复安装。 7. **检查Hadoop的jar包是否存在于类路径中** 运行以下命令检查`FSDataInputStream`类是否在jar包中： ```bash find $HADOOP_HOME -name "*.jar" | xargs grep "org/apache/hadoop/fs/FSDataInputStream" ``` 如果没有任何输出，说明Hadoop安装可能不完整。 8. **在特殊环境（如容器）中** 确保容器内的环境变量和路径配置正确，并且Hadoop的jar包被挂载到容器内。 总结：该错误的根本原因是Spark运行时缺少Hadoop的类库，通过正确配置环境变量`SPARK_DIST_CLASSPATH`，使其包含Hadoop的类路径，即可解决[^1][^2][^3][^4]。 如果按照上述步骤操作后问题仍然存在，请检查日志以获取更多信息，并确认Hadoop安装的完整性。 §§相关问题§§ 1. 如何验证Hadoop安装是否正确？ 2. 在Windows环境下如何配置Spark和Hadoop？ 3. 如何解决Spark任务中出现的其他常见类加载错误？ 4. 使用不同版本的Hadoop和Spark时需要注意哪些兼容性问题？ 5. 在集群环境中如何统一配置Spark的类路径？</think>### 解决 Spark 任务中的 `NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream` 错误 此错误表明 Spark 无法加载 Hadoop 的核心文件系统类，通常由以下原因导致： #### 🛠️ 根本原因与解决方案 1. **Hadoop 依赖缺失** Spark 运行时需要 Hadoop 的 JAR 文件： ```bash # 在 $SPARK_HOME/conf/spark-env.sh 中添加 export SPARK_DIST_CLASSPATH=$(hadoop classpath) # 自动获取类路径[^1][^2] ``` > 验证：执行 `hadoop classpath` 应返回 Hadoop 库路径列表 2. **手动添加类路径（当 `hadoop` 命令不可用时）** ```bash export SPARK_DIST_CLASSPATH=" $HADOOP_HOME/share/hadoop/common/*: $HADOOP_HOME/share/hadoop/common/lib/*: $HADOOP_HOME/share/hadoop/hdfs/* " ``` > 确保包含 `hadoop-common-*.jar` 和 `hadoop-hdfs-*.jar` 3. **版本兼容性问题** | Spark 版本 | 兼容 Hadoop 版本 | |------------|------------------| | 3.5.x | 3.3.1+ ✅ | | 3.4.x | 3.2.x+ ⚠️ | > 不匹配时需要[重新编译 Spark](https://spark.apache.org/docs/latest/building-spark.html)： ```bash ./dev/make-distribution.sh --tgz -Phadoop-3.3 -Pyarn ``` 4. **JAR 包冲突** 检查是否存在多版本 Hadoop JAR： ```bash find $SPARK_HOME/jars -name "hadoop-*.jar" ``` > 移除重复版本（保留与集群一致的版本） #### 🔍 验证步骤 1. 检查类加载： ```bash spark-shell --master yarn <<< 'println(Class.forName("org.apache.hadoop.fs.FSDataInputStream"))' ``` 应输出：`class org.apache.hadoop.fs.FSDataInputStream` 2. 提交测试任务： ```bash spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ $SPARK_HOME/examples/jars/spark-examples_*.jar 10 ``` #### ⚠️ 特殊场景处理 - **CDH/HDP 集群**： 使用 parcels 安装时需同步环境变量： ```bash export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop ``` - **Kerberos 环境**： 额外添加配置： ```bash export SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$HADOOP_HOME/etc/hadoop" ``` > 通过上述配置，99% 的 `FSDataInputStream` 类加载错误可解决[^1][^2][^3][^4]。若仍失败，检查 `$HADOOP_HOME/share/hadoop/common` 目录是否存在且包含 JAR 文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值