kafka源码分析--kafkaconsumer

最新推荐文章于 2024-11-08 20:45:28 发布

转载最新推荐文章于 2024-11-08 20:45:28 发布 · 177 阅读

Kafka 专栏收录该内容

28 篇文章

订阅专栏

本文深入探讨了KafkaConsumer的并发访问控制机制，通过acquire()和release()方法保护AtomicLongcurrentThread字段，防止多线程并发访问导致的数据不一致问题。详细介绍了ConsumerCoordinator、Fetcher、ConsumerNetworkClient等核心组件的工作原理，以及消费者如何通过拉模式消费数据，并提供了实例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

KafkaConsumer 对于多线程访问是不安全的，通过使用acquire()跟release()方法来操作AtomicLong currentThread字段(保存当前访问线程ID)，有多个线程同时访问抛出ConcurrentModificationException，来防止对个线程同时访问。

核心组件

ConsumerCoordinator：消费者的协调者，管理消费者的协调过程
- 维持coordinator节点信息(也就是对consumer进行assignment的节点)
- 维持当前consumerGroup的信息, 当前consumer已进入consumerGroup
Fetcher: 数据请求类
ConsumerNetworkClient：消费者的网络客户端，负责网络传输的流程
SubscriptionState：订阅状态类
Metadata：集群的元数据管理类，使用租约机制

工作流程

kafka是以拉模式去消费数据，可由用户自由控制消费速度，对用户的消费位置可以选择自动异步commit，或者由用户主动同步commit, 实例代码如下：

KafkaConsumer consumer = ...
consumer.subscribe(Arrays.asList("topic"));
while (!closed.get()) {
    ConsumerRecords records = consumer.poll(long timeout);
    // Handle new records 用户处理消息
    // consumer.commitSync 可由用户自主提交消费位置
}

时序图：