spark kafka directstream java.io.EOFException: Received -1 when reading from channel, socket has lik

最新推荐文章于 2022-10-16 00:15:00 发布

原创最新推荐文章于 2022-10-16 00:15:00 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#sparkstream #kafka #eofexception #channel #socket

大数据专栏收录该内容

13 篇文章

订阅专栏

本文解析了 Spark Direct Stream 在消费 Kafka 数据时出现的 EOF 异常问题，详细介绍了错误原因在于配置中将 Zookeeper 端口误作为 Kafka 的 broker 端口，导致无法发现生产者数据。通过更正 broker 配置为正确的 Kafka 端口，问题得以解决。同时，文章还提到了可能需要检查 Kafka 的 server.properties 配置文件。

spark directstream 消费kafka数据的时候出现报错
java.io.EOFException: Received -1 when reading from channel, socket has likely been closed.
在这里插入图片描述
val brokers = “hadoop:2181”
val kafkaParams = Map[String,String](“metadata.broker.list” -> brokers,
//smallest : 自动把offset设为最早的offset数据；
//largest : 自动把offset设为最新的offset数据；
“auto.offset.reset” -> “smallest”,
“serializer.class” -> “kafka.serializer.StringDecoder”)
val lines = KafkaUtils.createDirectStreamString,String,StringDecoder,StringDecoder.map(_._2)