SparkStreaming的案例及应用(一)

东南枝上的大雄

已于 2022-09-26 23:12:56 修改

阅读量480

点赞数

分类专栏： spark 文章标签： kafka spark 大数据

于 2022-09-26 23:10:53 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_67766119/article/details/127062437

版权

该案例展示了如何使用SparkStreaming从Kafka消费数据，经过处理后再发布到Kafka特定主题。配置包括Kafka参数设置、消费者组选择，以及处理和提交流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本案例使用SparkStreaming接受处理kafka消费数据，并将处理好的数据写进kafka指定主题

kafkaParams,存放消费者的配置信息


import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord}
import org.apache.kafka.clients.producer.{KafkaProducer, ProducerConfig, ProducerRecord}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.InputDStream
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object UserFriendRawToUserFriend {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName("sparkStream").setMaster("local[*]")
    val sc = new StreamingContext(conf, Seconds(3))

    //kafkaParams,存放消费者的配置信息
    val kafkaParams = Map(

集群信息

      (ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG -> "192.168.89.140:9092"),

key,Value的反序列化器

   (ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG ->
        "org.apache.kafka.common.serialization.StringDeserializer"),
      (ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG ->
        "org.apache.kafka.common.serialization.StringDeserializer"),</

最低0.47元/天解锁文章