RocketMQ-实际开发中遇到的几个问题

幂等性与顺序保障: RocketMQ消息处理策略详解
本文探讨了消息幂等性在生产者-消费者模型中的应用,如何通过生成唯一ID防止重复消费,以及如何在RocketMQ中实现全局和局部有序消费。重点讲解了生产者确保消息顺序的方法和处理积压消息的策略。

消息幂等性

  • 什么是幂等性

一个操作任意执行多次与执行一次的结果相同,这个操作就是幂等

      生产者发送消息之后,为了确保消费者消费成功 我们通常会采用手动签收方式确认消费,MQ就是使用了消息超时、重传、确认机制来保证消息必达。

场景:
 1. 订单服务(生产者),点击结算订单之后需要付款,这时就会发送一条“结算”的消息到mq的broker中。
 2. 此时支付服务(消费者)监听到这条消息之后就会处理结算扣款的逻辑,然后手动签收订单告诉mq我已经消费完成了。
 3. 如果在结算的过程中程序出现了异常,我们就返回mq一个消费失败的状态,此时mq就会重新发送这条消息;或者是由于网络波动支付服务一直没有响应消息的消费状态,mq也照样会重新发送这条消息。
 4. 那么这种情况下,支付服务(消费者)就会重复收到这条消息,如果不做任何判断就有可能会重复消费出现多次扣款的情况。
解决方案:
  在发送消息的时候,我们可以生成一个唯一ID标识每一条消息,将消息处理成功和去重日志通过事物的形式写入去重表或缓存中。每次消费之前都先查一遍,如果存在就说明消费过了直接返回消费成功。

      RocketMQ在消费消息时,对应生产者重试发送的消息,RocketMQ做了消息幂等, 就是内部生成了一个inner-msg-id,作为消息去重和幂等的依据。 inner-msg-id是全局唯一,与业务无关,接收消息和发送消息双方都不知道

   对于下游系统,在MQ处理订单成功返回ack时,MQ-server会给下游系统的MQ-client发送消息,下游系统MQ-Client处理完业务会给MQ-Server发送Ack,在MQ-server接收到Ack后会进一步处理,但是如果这个ACk丢失,上游系统会重新发送,这是下游系统就会收到重复的消息,这是就需要用到业务ID,如订单支付成功后会生成一个订单支付成功的编号,下游系统接收到订单支付成功后,生成订单时也会生成一个支付成功后的编号对应的订单ID,如果再次收到支付成功的编号时会先检查是否已经存在该订单编号。

如何保证消息的顺序性

思考下,为什么我们要保证消息的顺序性呢,有什么好处呢?

看下下面这一组操作:

  1. 用户的积分默认是0分,而新注册用户设置为默认的10分。
  2. 用户有奖励行为,积分+2分。
  3. 用户有不正当行为,积分-3分。

这样一组操作,正常用户积分要变成9分。但是如果顺序乱了,这个结果就全部对不了。这时,就需要对这一组操作,保证消息都是有序的。

MQ的顺序问题分为全局有序和局部有序。

  • 全局有序:整个MQ系统的所有消息严格按照队列先入先出顺序进行消费。
  • 局部有序:只保证一部分关键消息的消费顺序。

顺序消息(FIFO 消息)是 MQ 提供的一种严格按照顺序进行发布和消费的消息类型。顺序消息由两个部分组成:顺序发布和顺序消费。

顺序消息包含两种类型:

  • 分区顺序:一个Partition内所有的消息按照先进先出的顺序进行发布和消费
  • 全局顺序:一个Topic内所有的消息按照先进先出的顺序进行发布和消费

    &n

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员路同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值