Kafka报错总结

最新推荐文章于 2025-11-17 21:22:54 发布

原创最新推荐文章于 2025-11-17 21:22:54 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

kafka 专栏收录该内容

2 篇文章

订阅专栏

本文总结了在使用Kafka过程中遇到的一些错误，包括no brokers found错误、TimeoutException、NoSuchMethodError、KafkaException以及NullPointerException，并提供了相应的解决方法，如确保Kafka服务正常运行、检查版本兼容性、排查配置问题以及验证主题存在等。

1、报no brokers found when trying to rebalance，解决方法：将Kafka服务端启动,./bin/kafka-server-start.sh config/server.properties

2、当SpringBoot启动后，通过网络发送数据过来，报Exception thrown when sending a message with key='null' and payload='{"common":{"ar":"110000","ba":"iPhone","ch":"Appstore","md":"iPhone 8","mid":"mid_50","os":"iOS 13.3...' to topic GMALL_START:
org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms，解决方案：将Kafka服务端启动./bin/kafka-server-start.sh config/server.properties

3、在Spark运行调用kafka报：Exception in thread "streaming-start" java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V

解决办法：因为我服务器装的是0.10.2.1,而在windows的kafka-client是0.8.2.1，将后者删除之替换成前者即可。

4、KafkaException: range ClassNotFoundException exception occured

解决办法：看这个总报错下面具体是什么原因导致的报错我报的是"partition.assignment.strategy"-> "range"的问题，将其注释解决

5、ERROR (org.apache.spark.executor.Executor:logError) - Exception in task 3.0 in stage 7.0 (TID 59)
java.lang.NullPointerException
at util.MyKafkaSink$.send(MyKafkaSink.scala:39)

解决办法：检查是不是topic不存在导致的。