Structed Streaming集成kafka

她與風皆過客

于 2021-05-09 16:04:04 发布

阅读量282

点赞数

分类专栏：笔记文章标签： kafka spark big data

本文链接：https://blog.youkuaiyun.com/qq_45769990/article/details/116565990

版权

笔记专栏收录该内容

66 篇文章

订阅专栏

本文介绍如何使用Spark Streaming从Kafka中读取数据，并通过示例代码展示了配置SparkSession、加载Kafka数据流及将处理后的数据写回Kafka的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

读取kafka数据

  // 构建SparkSession实例对象，相关配置进行设置
    val spark: SparkSession = SparkSession.builder()
      .appName(this.getClass.getSimpleName.stripSuffix("$"))
      .master("local[2]")
      // 设置Shuffle时分区数目
      .config("spark.sql.shuffle.partitions", "2")
      .getOrCreate()
    import spark.implicits._
    // TODO: 从Kafka 加载数据
    val kafkaStreamDF: DataFrame = spark.readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", "node1.itcast.cn:9092")
      .option("subscribe", "wordsTopic")
      .load()

消费kafka数据

 val query: StreamingQuery = etlStreamDF
      .writeStream
      .queryName("query-state-etl")
      .outputMode(OutputMode.Append())
      .trigger(Trigger.ProcessingTime(0))
      // TODO：将数据保存至Kafka Topic中
      .format("kafka")
      .option("kafka.bootstrap.servers", "node1.itcast.cn:9092")
      .option("topic", "etlTopic")
      .option("checkpointLocation", "datas/ckpt-kafka/10001")
      .start()