kafka 消费指定分区数据

最新推荐文章于 2024-09-30 19:33:18 发布

Genebrother

最新推荐文章于 2024-09-30 19:33:18 发布

阅读量1.8k

点赞数

分类专栏： kafka

本文链接：https://blog.youkuaiyun.com/weixin_38638777/article/details/115242721

版权

kafka 专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了如何创建Kafka消费者，包括配置bootstrap.server、数据序列化、设置消费起点、自动提交offset以及指定消费组。通过这些步骤，读者可以理解如何从Kafka主题中拉取并消费消息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建kafka消费者的代码如下：

1、构建配置参数

1.1 配置bootstrap.server 参数：hadoop102:9092--------指定kafka集群的地址，可以写多个，防止这个节点宕机无法运行

1.2 配置kafka接受的数据的k-v值的序列化参数

 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
 props.put("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer");

1.3 指定读取的数量（已经消费了100条）是从已经提交的offset（100）开始读取还是继续从最新的位置开始读取（此时里面在100之后，又新增了400条数据，但是从最新的数据开始读取的位置就是400+100开始读取）

props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

1.4 指定提交分区的offset是自动提交还是手动提交

props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);

1.5 指定消费的消费组《必须在消费的时候去指定》

props.put(ConsumerConfig.GROUP_ID_CONFIG, "CONF");

2、创建kafka consumer消费对象

 KafkaConsumer<Object, Object> consumer = new KafkaConsumer<>(props);

3、指定consumer消费的主题

 consumer.subscribe(Arrays.asList("test01"));

4、拉取数据

 ConsumerRecords<Object, Object> records = consumer.poll(100);