消息幂等性
- 什么是幂等性
一个操作任意执行多次与执行一次的结果相同,这个操作就是幂等
生产者发送消息之后,为了确保消费者消费成功 我们通常会采用手动签收方式确认消费,MQ就是使用了消息超时、重传、确认机制来保证消息必达。
场景:
1. 订单服务(生产者),点击结算订单之后需要付款,这时就会发送一条“结算”的消息到mq的broker中。
2. 此时支付服务(消费者)监听到这条消息之后就会处理结算扣款的逻辑,然后手动签收订单告诉mq我已经消费完成了。
3. 如果在结算的过程中程序出现了异常,我们就返回mq一个消费失败的状态,此时mq就会重新发送这条消息;或者是由于网络波动支付服务一直没有响应消息的消费状态,mq也照样会重新发送这条消息。
4. 那么这种情况下,支付服务(消费者)就会重复收到这条消息,如果不做任何判断就有可能会重复消费出现多次扣款的情况。
解决方案:
在发送消息的时候,我们可以生成一个唯一ID标识每一条消息,将消息处理成功和去重日志通过事物的形式写入去重表或缓存中。每次消费之前都先查一遍,如果存在就说明消费过了直接返回消费成功。
RocketMQ在消费消息时,对应生产者重试发送的消息,RocketMQ做了消息幂等, 就是内部生成了一个inner-msg-id,作为消息去重和幂等的依据。 inner-msg-id是全局唯一,与业务无关,接收消息和发送消息双方都不知道
对于下游系统,在MQ处理订单成功返回ack时,MQ-server会给下游系统的MQ-client发送消息,下游系统MQ-Client处理完业务会给MQ-Server发送Ack,在MQ-server接收到Ack后会进一步处理,但是如果这个ACk丢失,上游系统会重新发送,这是下游系统就会收到重复的消息,这是就需要用到业务ID,如订单支付成功后会生成一个订单支付成功的编号,下游系统接收到订单支付成功后,生成订单时也会生成一个支付成功后的编号对应的订单ID,如果再次收到支付成功的编号时会先检查是否已经存在该订单编号。
如何保证消息的顺序性
思考下,为什么我们要保证消息的顺序性呢,有什么好处呢?
看下下面这一组操作:
- 用户的积分默认是0分,而新注册用户设置为默认的10分。
- 用户有奖励行为,积分+2分。
- 用户有不正当行为,积分-3分。
这样一组操作,正常用户积分要变成9分。但是如果顺序乱了,这个结果就全部对不了。这时,就需要对这一组操作,保证消息都是有序的。
MQ的顺序问题分为全局有序和局部有序。
- 全局有序:整个MQ系统的所有消息严格按照队列先入先出顺序进行消费。
- 局部有序:只保证一部分关键消息的消费顺序。
顺序消息(FIFO 消息)是 MQ 提供的一种严格按照顺序进行发布和消费的消息类型。顺序消息由两个部分组成:顺序发布和顺序消费。
顺序消息包含两种类型:
- 分区顺序:一个Partition内所有的消息按照先进先出的顺序进行发布和消费
- 全局顺序:一个Topic内所有的消息按照先进先出的顺序进行发布和消费
&n
幂等性与顺序保障: RocketMQ消息处理策略详解

本文探讨了消息幂等性在生产者-消费者模型中的应用,如何通过生成唯一ID防止重复消费,以及如何在RocketMQ中实现全局和局部有序消费。重点讲解了生产者确保消息顺序的方法和处理积压消息的策略。
最低0.47元/天 解锁文章
1229





