Spark 与 Kafka 集成出错: Apache Spark: java.lang.NoSuchMethodError

最新推荐文章于 2021-02-01 11:47:54 发布

原创最新推荐文章于 2021-02-01 11:47:54 发布 · 3.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #apache #kafka

踩的一些坑及解决方案同时被 2 个专栏收录

17 篇文章

订阅专栏

Spark

12 篇文章

订阅专栏

本文描述了在尝试结合使用Spark与Kafka时遇到的版本不兼容问题，具体表现为Spark Streaming无法正常读取Kafka的数据。经过排查，确认为Spark与Kafka版本不匹配所致，并给出了兼容版本的组合。

按照 spark 与 kafka 的教程一步一步进行操作, 在运行 KafkaWordCount 的示例时，却始终没有预期的输出. 如果正确的话，大概是这样:

......
-------------------------------------------
Time: 1488156500000 ms
-------------------------------------------
(4,5)
(8,12)
(6,14)
(0,19)
(2,11)
(7,20)
(5,10)
(9,9)
(3,9)
(1,11)
...

实际上只有:

......
-------------------------------------------
Time: 1488156500000 ms
-------------------------------------------
-------------------------------------------
Time: 1488156600000 ms
-------------------------------------------
......

localhost:4040 查看运行日志，发现错误:NoSuchMethodError, 搜索相关内容，结果并不多，但是有人说可能是版本问题。

进一步排错, kafka 可以独立正常工作, spark streaming 也是正常工作. 两者一结合就不工作了, 最后发现是 kafka 与 spark 的版本不兼容.

已测试不兼容的版本有: kafka0.8.0/kafka0.10.2+spark2.1.0+scala2.11.8，亲测的兼容版本有: kafka0.8.2.2+spark2.1.0+scala2.11.8 .