kafka消费组的再平衡策略

Kafka消费者组策略详解：roundRobin、range与stickyRoundRobin

原创已于 2022-07-26 04:07:42 修改 · 802 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式 #golang

于 2022-07-26 04:03:50 首次发布

golang#sarama 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Kafka消费者组中的三种分配策略：roundRobin、range和stickyRoundRobin。roundRobin策略实现分区的均匀分配，range策略则是一次性平均分配，而stickyRoundRobin在rebalance时尽量保持已有分配，减少分区移动。理解这些策略对于优化Kafka消费者组的性能和数据处理至关重要。

看注释

func ConsumeGroupAssignor(assignorStr string) {
	config := sarama.NewConfig()
	switch assignorStr {
	// consumer_group
	case "stickyRoundRobin":
		// 黏性roundRobin,rebalance之后首先保证前面的分配,从后面剥离
		// topic:T0{P0,P1,P2,P3,P4,P5},消费者:C1,C2
		//	---------------before rebalance:即roundRobin
		// C1: T0{P0}	 T0{P2}		T0{P4}
		// C2:      T0{P1}    T0{P3}     T0{P5}
		// ----------------after rebalance:增加了一个消费者
		// C1: T0{P0}	 T0{P2}
		// C2:      T0{P1}    T0{P3}
		// C3:						 T0{P4}   T0{P5} until每个消费者的分区数误差不超过1
		config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategySticky
	case "roundrobin":
		// roundRobin --逐个平均分发
		// topic: T0{P0,P1,P2},T1{P0,P1,P2,P3}两个消费者C1,C2
		// C1: T0{P0}	 T0{P2}	   T1{P1}     T1{P3}
		// C2: 		T0{P1}	  T1{P0}    T1{P2}
		config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRoundRobin
	case "range":
		// 默认值 --一次平均分发
		// topic: T0{P0,P1,P2,P3},T1{P0,P1,P2,P3},两个消费者C1,C2
		// T1分区总数6 / 消费者数2 = 3 ,即该会话的分区每个消费者分3个
		// T2分区总数4 / 消费者数2 = 2 ,即该会话的分区每个消费者分2个
		// C1: T0{P0, P1, P2} 			  T1{P0, P1}
		// C2: 				T0{P3, P4, P5}  		 T1{P2, P3}
		config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRange
	default:
		err := fmt.Sprintf("assignor的值在\{rang,roundRobin,stickyRoundRobin\}三个值中选择一个!\n", assignorStr)
		panic(err)
	}
}