kafka中消费者消费消息之每个线程维护一个KafkaConsumer实例

最新推荐文章于 2025-05-31 21:51:57 发布

原创

最新推荐文章于 2025-05-31 21:51:57 发布 · 653 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何在Kafka中实现每个消费线程维护一个独立的KafkaConsumer实例。通过创建ConsumerRunnable线程类执行消费任务，并通过消费线程管理类来管理多个消费线程，实现高效的消息消费。内容包括启动Kafka集群、生产者生产消息以及消费者消费消息的案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka中消费者消费消息之每个线程维护一个KafkaConsumer实例

1、首先启动自己的kafka集群哟。

1 启动zk：
2 bin/zkServer.sh start conf/zoo.cfg。
3 验证zk是否启动成功：
4 bin/zkServer.sh status conf/zoo.cfg。
5 启动kafka：
6 bin/kafka-server-start.sh -daemon config/server.properties。

2、生产者生产消息，模拟生产一百条数据。

 1 package com.bie.kafka.producer;
 2 
 3 import java.util.Properties;
 4 import java.util.concurrent.ExecutionException;
 5 
 6 import org.apache.kafka.clients.producer.KafkaProducer;
 7 import org.apache.kafka.clients.producer.Producer;
 8 import org.apache.kafka.clients.producer.ProducerRecord;
 9 import org.apache.kafka.clients.producer.RecordMetadata;
10 import org.apache.kafka.common.serialization.StringSerializer;
11 
12 /**
13  * 
14  * @Description TODO
15  * @author biehl
16  * @Date 2019年5月25日 下午2:34:46
17  *
18  */
19 public class KafKaProducerHeart {
20 
21     public static void main(String[] args) {
22         Properties props = new Properties();
23         props.put("bootstrap.servers", "slaver1:9092,slaver2:9092,slaver3:9092");
24         props.put("acks", "-1");
25         props.put("retries", 3);
26         props.put("batch.size", 323840);
27         props.put("linger.ms", 10);
28         props.put("buffer.memory", 33554432);
29         props.put("max.block.ms", 3000);
30         StringSerializer keySerializer = new StringSerializer();
31         StringSerializer valueSerializer = new StringSerializer();
32         Producer<String, String> producer = new KafkaProducer<String, String>(props, keySerializer, valueSerializer);
33         String topic = "topic1";
34         String value = " biehl ?   wj 1314 ";