本文介绍了在使用Spark Streaming与Kafka进行集成时遇到的问题及解决方案。主要包括StringEncoder导入错误及Spark Streaming与特定版本Kafka不兼容的问题。
环境：hadoop-2.6.0-cdh5.7.0 spark-2.2.0 kafka_2.11-0.9.0.0
1、StringEncoder import 报错
解决方法：import _root_.kafka.serializer.StringDecoder 原因没懂
2、Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker
解决方法：将kafka的版本改为0.8.2.1，spark-streaming-kafka-0-8_2.11不支持0.9.0.0的broker，spark官网说明有误
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
