Spark Streaming之KafakStreaming保存Offset

未命名i

于 2019-11-23 16:28:25 发布

阅读量148

点赞数

分类专栏： Spark 文章标签： KafakStreaming Sparkstreaming 保存Offset

本文链接：https://blog.youkuaiyun.com/weixin_45327325/article/details/103215574

版权

本文介绍了如何在Spark Streaming处理Kafka数据流时，将消费的Offset保存到Zookeeper，确保数据处理的可靠性和一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

保存Offset到ZK直接上代码

import kafka.common.TopicAndPartition
import kafka.message.MessageAndMetadata
import kafka.serializer.StringDecoder
import org.apache.kafka.clients.consumer.ConsumerConfig
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{
   DStream, InputDStream}
import org.apache.spark.streaming.kafka.KafkaCluster.Err
import org.apache.spark.streaming.kafka.{
   HasOffsetRanges, KafkaCluster, KafkaUtils, OffsetRange}
import org.apache.spark.streaming.{
   Seconds, StreamingContext}

import scala.collection.mutable

object KafkaStreaming {
   

  def main(args: Array[String]): Unit = {
   

    //创建SparkConf对象
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("KafkaStreaming")