关于spark 设置redis offset,初始启动时报错,提示Offsets out of range with no configured reset policy for partitions

1、当通过sparkstreaming连接kafka,即使你指定了一个不存在offset,即大于上边界或小于下边界,Kafka也将会根据这一条配置reset你的offset值,比如earliestlatest

2、初始启动时,指定了一个OutOfRange的初始offset时,Spark不会理你的auto.offset.reset,而是按照用户设置的来,但是由于设置的数组上界比如超过本身存储的上界,或者存储的下界超过了本身存储的下界,那么就会得到提示的报错信息

3、因此需要设定修改默认值

import org.apache.kafka.clients.consumer.KafkaConsume

val consumer = new KafkaConsumer[String, String](pros)
consumer.subscribe(util.Collections.singletonList(userPlaySongTopic))
consumer.poll(1000)
// fromOffsets该处即为你根据kafka初始设定的partition保存的的offset值
for (topicPartition <- fromOffsets.keySet) {
  consumer.seekToBeginning(util.Collections.singletonList(topicPartition))
  // 得到这个topic所有partition中的offset
  val offset: Long = consumer.position(topicPartition)
  println("offset:" + offset)
  //获得redis保存的offset
  val consumedOffset: Long = fromOffsets.getOrElse(topicPartition, 0L)
  println("consumedOffset:" + consumedOffset)
  if (offset > consumedOffset) {
    fromOffsets = fromOffsets.updated(topicPartition, offset)
  }
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值