Kafka——从特定offset开始消费

最新推荐文章于 2024-11-25 18:47:33 发布

积微成著

最新推荐文章于 2024-11-25 18:47:33 发布

阅读量5.5k

点赞数 1

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.youkuaiyun.com/duxu24/article/details/105211154

版权

本文介绍如何使用Kafka消费者指定分区从头、从最新offset或特定offset开始消费消息，通过示例代码展示了不同消费策略的实现方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

指定分区从头消费
指定分区从最新offset消费
指定分区、offset消费

指定分区从头消费

package test.kafka.kafkaconsumer

import java.util.Properties
import java.{
   lang, util}

import org.apache.kafka.clients.consumer.{
   ConsumerRecord, ConsumerRecords, KafkaConsumer}
import org.apache.kafka.common.TopicPartition
import test.kafka.kafkaProperities

import scala.collection.JavaConversions._

object ConsumerSpecificOffsets {
   
  private val KAFKA_PROPERITIES = new kafkaProperities()
  def main(args: Array[String]): Unit = {
   
    val kakConPros: Properties = KAFKA_PROPERITIES.getKakConPros
    val consumer: KafkaConsumer[String, String] = new KafkaConsumer[String, String](kakConPros)
    consumer.subscribe(util.Arrays.asList(KAFKA_PROPERITIES.TOPIC))

    var assignment: scala.collection.Set[TopicPartition] = Set()
    // 在poll()方法内部执行分区分配逻辑，该循环确保分区已被分配
    // 当分区消息为0时进入此循环，如果不为0，则说明已经成功分配到了分区
    while (assignment.isEmpty) {
   
      consumer.poll(1000)
      // assignment()方法是用来获取消费者所分配到的分区消息的
      assignment = consumer.assignment</