spark-shell 启动报错

最新推荐文章于 2024-02-26 22:34:50 发布

转载最新推荐文章于 2024-02-26 22:34:50 发布 · 329 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/kxgdby/p/7956589.html

文章标签：

#java #shell #scala

本文解决了一个常见的Spark启动问题，即由于未找到org.slf4j.Logger类导致的NoClassDefFoundError异常。通过在spark-env.sh中添加配置项export SPARK_DIST_CLASSPATH=$(hadoop classpath)，成功解决了该问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误如下：

[root@hadoop conf]# spark-shell --master local[2]
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.java:3048) at java.lang.Class.getMethod0(Class.java:3018) at java.lang.Class.getMethod(Class.java:1784) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:715) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 10 more

解决方法：
spark-env.sh添加

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

具体参考官网spark

转载于:https://www.cnblogs.com/kxgdby/p/7956589.html