消息队列如何保证顺序性?`

本文探讨了RabbitMQ、Kafka、RocketMQ及ActiveMQ四种MQ消息队列如何确保消息顺序性,通过创建特定队列、使用内存队列、消息分组等策略,解决多消费者或线程并发时的数据顺序问题。

转自:https://hacpai.com/article/1542162310805?m=0&p=1

这里讲讲几个 MQ 是如何来保证消息的顺序性的。

1、rabbitMq
问题分析:

如图,data1 和 data2 是有顺序的,必须 data1 先执行,data2 后执行;这两个数据被不同的消费者消费到了,可能 data2 先执行,data1 后执行,这样原来的顺序就错乱了。

解决方案:

如图,在 MQ 里面创建多个 queue,同一规则的数据(对唯一标识进行 hash),有顺序的放入 MQ 的 queue 里面,消费者只取一个 queue 里面获取数据消费,这样执行的顺序是有序的。或者还是只有一个 queue 但是对应一个消费者,然后这个消费者内部用内存队列做排队,然后分发给底层不同的 worker 来处理。

2、kafka
问题分析:

如图,在 kafka 中,你对数据指定某个 key,那么这些数据会到同一个 partition 里面,在 partition 里面这些数据是有顺序的。从这里看没啥问题,插入到数据库的数据都是有序的。

但是,我们在消费端可能会使用多线程来处理,因为单线程的处理速度慢,为了加快处理时间和吞吐量,会使用 thread 来处理。在消费端加入线程之后,就会出现顺序不一致的情况。

如图,就是使用了多线程之后,数据顺序不一致情况。

在使用了多线程之后,如何来解决数据顺序问题?

如图,在消费端使用内存队列,队列里的数据使用 hash 进行分发,每个线程对应一个队列,这样可以保证数据的顺序。

3、rocketMq

如图,生产者中把 orderId 进行取模,把相同模的数据放到 messagequeue 里面,消费者消费同一个 messagequeue,只要消费者这边有序消费,那么可以保证数据被顺序消费。

4、activeMq

如图,activeMq 里面有 messageGroups 属性,可以指定 JMSXGroupID,消费者会消费指定的 JMSXGroupID。即保证了顺序性,又解决负载均衡的问题。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

消息队列使用时保证消息顺序可以采用以下方法: - **RocketMQ相关方法**: - **保证投递顺序**:RocketMQ通过客户端SDK和服务端通信协议保证消息按照服务端存储顺序投递,但业务方消费消息时需要严格按照接收—处理—应答的语义处理消息,避免因异步处理导致消息乱序[^2]。 - **有限重试**:RocketMQ顺序消息投递仅在重试次数限定范围内,即一条消息如果一直重试失败,超过最大重试次数后将不再重试,跳过这条消息消费,不会一直阻塞后续消息处理[^2]。 - **串行消费**:尽量一次消费一条消息,避免批量消费导致乱序。若进行批量消费,消息的顺序问题需由应用本身处理[^2]。 - **消息组打散**:保证顺序时,同一消息组中的消息存在于同一个队列。应按实际业务拆分消息组,将不需要保证顺序的消息和需要保证顺序的消息进行拆分,避免存储压力集中到一个队列导致能热点,不利于扩展[^2]。 - **通用方法**: - **多队列规则分配**:在MQ里创建多个queue,对数据的唯一标识进行hash,将同一规则的数据有顺序地放入MQ的queue中,消费者只从一个queue里获取数据消费,保证执行顺序有序[^3]。 - **单队列消费者内排队**:只有一个queue对应一个消费者,消费者内部用内存队列做排队,然后分发给底层不同的worker处理[^3]。 ### 代码示例(以RocketMQ顺序消息为例) ```java import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.MessageQueueSelector; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.common.message.Message; import org.apache.rocketmq.common.message.MessageQueue; import java.util.List; public class OrderedProducer { public static void main(String[] args) throws MQClientException, InterruptedException { DefaultMQProducer producer = new DefaultMQProducer("ordered_producer_group"); producer.setNamesrvAddr("localhost:9876"); producer.start(); for (int i = 0; i < 10; i++) { try { Message msg = new Message("OrderedTopic", "OrderedTag", ("Hello RocketMQ " + i).getBytes()); SendResult sendResult = producer.send(msg, new MessageQueueSelector() { @Override public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) { Integer id = (Integer) arg; int index = id % mqs.size(); return mqs.get(index); } }, i); System.out.printf("%s%n", sendResult); } catch (Exception e) { e.printStackTrace(); } } producer.shutdown(); } } ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值