RocketMQ（九）—Queue分配算法

Queue分配算法

一个Topic中的Queue只能由Consumer Group中的一个Consumer进行消费，而一个Consumer可以同时消费多个Queue中的消息。常见的Queue分配算法有四种，分别是：平均分配策略、环形平均策略、一致性hash策略、同机房策略。这些策略是通过在创建Consumer时的构造器传进去的

平均分配策略

计算公式：
$$avg=\frac{QueueCount}{ConsumerCount}$$
若能整除，则按照avg个Queue诸葛分配Consumer，如果不能整除，将多于的Queue按照Consumer顺序逐个分配。

环形平均策略

环形平均算法是指：根据消费者的顺序，依次在由queue队列组成的环形图中逐个分配，该方法不需要提前计算。

一致性hash策略

该算法会将consumer的hash值作为Node节点存放到hash环上，然后将queue的hash值也放到hash环上，顺时针方向距离queue最近的那个consumer就是该queue要分配的consumer。

问题：

分配效率较低，容易导致分配不均的情况

优点：

其可以有效减少由于消费者组扩容或缩容所带来的大量的Rebalance。

适合用在Consumer变化较频繁的场景

同机房策略

该算法会根据queue的部署机房位置和consumer的位置，过滤出当前consumer相同机房的queue。然后按照平均分配策略或环形平均策略对同机房queue进行分配。如果没有同机房queue，则按照平均分配策略或环形平均策略对所有queue进行分配。

至少一次原则

每条消息必须要被成功消费一次。

成功消费：即Consumer在消费完消息后会向其消费进度记录器提交其消费消息的offset， offset被成功记录到记录器中

消费进度记录器：广播模式中的Consumer本身，集群模式的Broker