使用KafkaUtil以direct方式获取kafka的数据时遇到的问题

最新推荐文章于 2025-06-09 17:15:26 发布

lemonlhy

最新推荐文章于 2025-06-09 17:15:26 发布

阅读量964

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据 spartstream kafka

本文链接：https://blog.youkuaiyun.com/lemonlhy/article/details/80300265

大数据同时被 3 个专栏收录

17 篇文章

订阅专栏

spartstream

1 篇文章

订阅专栏

kafka

1 篇文章

订阅专栏

本文提供了一个使用Apache Spark Streaming通过KafkaUtils创建Direct Stream来消费Kafka主题数据的示例，并展示了如何设置Spark配置及处理流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用KafkaUtil以direct方式获取kafka的数据时遇到的问题

报的是nio.channels.closeException类似的错误

原因是我的server.properties配置文件里面

zookeeper的端口配错了

正确的代码是

package kafkaTest


import kafka.serializer.StringDecoder
import org.apache.spark.streaming.dstream.{DStream, InputDStream}
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Administrator on 2018/5/13.
  */
object kafkaTest {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName("kafkaTest").setMaster("local[2]")
    val sc = new SparkContext(conf)
    val scc = new StreamingContext(sc,Seconds(2))
    //checkpoint目录
    scc.checkpoint("hdfs://hadoop02:9000/sparkStreaming")
    val TOPIC=Set("sparkstream")
    //kafkaUtils创建direct dstream
    var kafkaParams=Map("metadata.broker.list"->"hadoop02:9092")

    val dstream: DStream[String] = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](scc, kafkaParams, TOPIC)
      .map(_._2)
    dstream.flatMap(line=>line.split(",")).map(x=>(x,1)).reduceByKey(_+_).print()
    /**
      * 偏移量 数据 解码器 解码器
      * K: ClassTag,
    V: ClassTag,
    KD <: Decoder[K]: ClassTag,
    VD <: Decoder[V]: ClassTag
      *  ssc: StreamingContext,
      kafkaParams: Map[String, String],
      topics: Set[String]
      * */
    scc.start()
    scc.awaitTermination()
    scc.stop()
  }
}