Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误

煉心_

于 2016-09-21 16:28:51 发布

阅读量1.5w

点赞数 2

分类专栏： Spark 文章标签： Spark Kafka

本文链接：https://blog.youkuaiyun.com/gangchengzhong/article/details/52609452

版权

将Spark从1.5.2升级到2.0后，测试stream-kafka连接遇到java.lang.NoClassDefFoundError: org/apache/spark/Logging错误。尝试将缺失类打包成jar并放入Spark lib目录，重启Spark后问题解决。测试步骤包括启动HDFS、Zookeeper、Kafka，创建topic，启动Spark shell并输入测试命令，通过Kafka发送消息验证测试成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

- 最近从Spark 1.5.2升级到2.0之后，运行测试代码spark-stream-kafka报以下错误：

java.lang.NoClassDefFoundError: org/apache/spark/Logging
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:760)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
  at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
  at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
  at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
  at java.security.AccessController.doPrivileged(Native Method)
  at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  at org.apache.spark.streaming.kafka.KafkaUtils$.createStream(Kaf