kafka consumer assign 和 subscribe模式差异分析

最新推荐文章于 2024-09-04 09:18:16 发布

王爷的大房子

最新推荐文章于 2024-09-04 09:18:16 发布

阅读量3.3k

点赞数 2

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/dongxiao-yang/p/7200971.html

本文探讨了Kafka Consumer的assign和subscribe两种消费模式的差异。assign模式允许用户手动指定消费的TopicPartition，不使用组管理功能，因此在组内消费者变化时不会触发rebalance。而subscribe模式则利用组管理，当元数据或消费者数量变化时会进行rebalance。源码分析显示，assign模式的Consumer不会执行ConsumerCoordinator的rebalance操作。

转载请注明原创地址：http://www.cnblogs.com/dongxiao-yang/p/7200971.html

最近需要研究flink-connector-kafka的消费行为，发现flink使用了kafka consumer一个比较底层一点的assign接口而不是之前比较常用的subscirbe,于是研究下二者之间的差异。

首先看api文档：http://kafka.apache.org/0110/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html

public void assign(Collection<TopicPartition> partitions)

Manually assign a list of partitions to this consumer. This interface does not allow for incremental assignment and will replace the previous assignment (if there is one). If the given list of topic partitions is empty, it is treated the same as unsubscribe().

Manual topic assignment through this method does not use the consumer's group management functionality. As such, there will be no rebalance operation triggered when group membership or cluster and topic metadata change. Note that it is not possible to use both manual partition assignment with assign(Collection) and group assignment with subscribe(Collection, ConsumerRebalanceListener).

与subscirbe方法不同，assign方法由用户直接手动consumer实例消费哪些具体分区，根据api上述描述，assign的consumer不会拥有kafka的group management机制，也就是当group内消费者数量变化的时候不会有reblance行为发生。assign的方法不能和subscribe方法同时使用。

然后看一下具体实现源码：