java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils 报错

最新推荐文章于 2025-05-22 09:52:18 发布

向阳争渡

最新推荐文章于 2025-05-22 09:52:18 发布

阅读量7.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据/Spark 大数据/kafka 文章标签： Spark kafka

本文链接：https://blog.youkuaiyun.com/yangyang_yangqi/article/details/81215629

大数据/Spark 同时被 2 个专栏收录

14 篇文章

订阅专栏

大数据/kafka

4 篇文章

订阅专栏

本文记录了解决因Kafka版本与Scala环境不匹配导致的问题。作者使用Scala 2.11.1环境下安装了错误版本的Kafka (kafka_2.12-1.1.0.tgz)，通过更换正确版本的Kafka解决了问题，并分享了spark-submit的提交语句。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

经过2天的挣扎，终于解决了这个问题。
期间也遇到了其他问题，解决办法是spark-submit中设置相应的jar(加了好几个)。这一问题是由于kafka的版本不对，我的环境里Scala的版本是2.11.1,但是我安装的是kafka_2.12-1.1.0.tgz，对应Scala 2.12,更换了kafka的版本后完美解决

！！！！！细节很重要！！！！
最后附上spark-submit提交语句，提醒自己。

/root/app/spark-2.1.0-bin-hadoop2.6/bin/spark-submit  --class hdfs.KafkaToHbase --master spark://192.168.1.233:7077 --jars spark.jar,metrics-core-2.2.0.jar,spark-streaming-kafka-0-8_2.11-2.1.0.jar,spark-streaming_2.11-2.1.0.jar,kafka_2.11-1.1.0.jar 1000