1.Range范围分配策略
Range范围分配策略是kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。
注意:Rangle范围分配策略是针对每个topic的。
配置消费者的partition.assignment.strategy为org.apache.kafka.clients.consumer.RangeAssignor
算法公式:
n=分区数量/消费者数量
m=分区数量%消费者数量
前m个消费者消费n+1,剩余消费者消费n个
分区数量=m(n+1)+ (消费者数量-m)*n= m + n.消费者数量
m=分区数量-n.消费者数量 则为分区数量%消费者数量的值
n=分区数量/消费者数量-m/消费者数量(此部分小于1,取整时舍弃)
得到
n = 分区数量/消费者数量
m = 分区数量%消费者数量
2.RoundRobin轮询策略
RoundRobinAssignor轮询策略是将消费组内所有的消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。
配置消费者的partition.assignment.strategy为org.apache.kafka.clients.consumer.RoundRobinAssignor

消费者挨个分配消费的分区
本文介绍了Kafka中三种分区分配策略:Range范围分配策略,保证分区的均衡分配;RoundRobin轮询策略,按字典序轮询分配分区;以及Stricky粘性分配策略,兼顾轮询和稳定性。配置不同的partition.assignment.strategy可以实现不同策略。
订阅专栏 解锁全文
9557

被折叠的 条评论
为什么被折叠?



