sparkStreaming：kafka topic连接spark处理数据传输到kafka另一个topic

Xiayebuliang

已于 2023-04-27 19:23:04 修改

阅读量646

点赞数

CC 4.0 BY-SA版权

文章标签： kafka spark 大数据

于 2023-04-27 19:19:58 首次发布

本文链接：https://blog.youkuaiyun.com/Xiayebuliang/article/details/130412969

本文展示了如何使用SparkStreaming从nc-lk端口接收数据，以及从Kafka订阅主题。通过flatMap、reduceByKey等操作处理数据流，并使用updateStateByKey保持状态。此外，还演示了将数据从Kafka源传输到KafkaSink的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、nc -lk 端口号连接sparkStreaming

二、sparkStreaming ： kafka订阅主题

三、SparkStreaming： kafkaSource to kafkaSink

一、nc -lk 端口号连接sparkStreaming

import org.apache.spark.SparkConf
import org.apache.spark.sql.catalyst.expressions.Second
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object SparkStreamDemo1 {
  def main(args: Array[String]): Unit = {

    val sparkConf: SparkConf = new SparkConf().setMaster("local[2]").setAppName("sparkstream1")

    //定义流，采集周期3秒

    val streamingContext = new StreamingContext(sparkConf, Seconds(3))

    // 配置数据源为指定机器和端口
    val socketLineStream: ReceiverInputDStream[String] = streamingContext.socketTextStream("192.168.91.180", 8888)
    //业务处理
    val wordStream: DStream[String] = socketLineStream.flatMap(x => x.split("\\s+"))
    val mapStream: DStream[(String, Int)] = wordStream.map((_, 1))
    val wordcountStream: DStream[(String, Int)] = mapStream.reduceByKey(_ + _)
    //输出结果
    wordcountStream.print()

    //启动采集器
    streamingContext.start()
    streamingContext.awaitTermination()

  }

}