(Scala语言)sparkstreaming手动提交offset值到kafka(0.10版本)简单示例

置顶

luyanbin_lqq

于 2019-07-30 15:06:40 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： sparkstreaming 文章标签： sparkstreaming_kafka_scala

本文链接：https://blog.youkuaiyun.com/luyanbin_lqq/article/details/97780620

博客介绍了SparkStreaming如何对接Kafka0.10处理数据流，并手动提交offset值到Kafka。文章指出，与0.8版本不同，0.10版本的Kafka由自身管理offset。SparkStreaming默认设置为自动提交offset，但作者通过代码展示了手动提交的过程。文中提供了一个简单的Scala代码示例，虽然实际运行时由于缺乏数据，只显示了分区的offset值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkStreaming对接kafka处理数据流，手动提交offset到kafka
新手小白没事上来写点博客玩玩，第一次昂好紧张。。。大佬们不喜勿喷。
我用的是kafka0.10版本的，不是0.8的，旧版本的kafka的offset值是由zookeeper监管，在对应的brokers/topics/partitions下好像，具体记不清了。0.10版本的kafka则是由kafka自己管理offset，将其放到__consumer_offset的topic下。
sparkstreaming作为Spark重要的组件之一，可以与kafka对接偏实时处理数据，简单来说就是通过自己设置一个时间，程序会将每个时间段内从kafka接受来的数据“一批一批”的进行处理。
说到kafka，大家肯定也不陌生，就不多说了，sparkstreaming处理数据有个参数默认是自动提交，enable.auto.commit：默认为true，kafka自动提交还有个与之对应的参数是auto.commit.interval.ms，默认好像是5000ms也就是5秒？也就是说每隔5秒kafka会自动把当前数据处理的offset更新到kafka中。
小白行事风格：代码直接上就完事了。

package com.yzd

import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.streaming.dstream.InputDStream
import org.apache.spark.streaming.kafka010._
import org.apache.spark.{SparkConf, TaskContext}
import