RocketMQ消息乱序场景及解决方法

最新推荐文章于 2025-02-24 11:49:48 发布
最新推荐文章于 2025-02-24 11:49:48 发布
阅读量4.3k 收藏 5
点赞数 4
分类专栏： RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LO_YUN/article/details/104223865
版权
本文探讨了RocketMQ中消息乱序的原因，当消息分布在多个MessageQueue并由不同消费者消费时，可能导致乱序。解决方法是确保有序消息进入同一MessageQueue，通过消息ID取模实现，并在消费失败时使用特定状态控制消费顺序，以保证消息顺序消费。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

消息乱序也是RocketMQ中的一个常见问题，那么到底为什么会出现消息乱序呢？

首先我们知道在RocketMQ的Topic中，会有多个MessageQueue作为数据分片，每个MessageQueue都会存储部分的消息，那么在生产者产生消息发送到Topic上的时候，按道理这些消息都会均匀的分布在多个MessageQueue中，假如我现在有多个消息，它们是按照顺序排列的，现在它们分布到了不同的MessageQueue中，消费者组中的多个消费者需要去消费这些数据，每个MessageQueue只能被一个消费者消费，所以这一批有序的消息被多个不同的消费者消费到了，谁先被消费就无法得到保障了。
消息乱序场景
如上图所示，多个消息分布在多个MessageQueue中，最后被多个不同的消费者消费，就可能会出现消息乱序的场景。

既然知道了消息乱序的产生原因，那么解决起来就简单了，只要将有序的消息按照顺序都放入同一个MessageQueue中，最后就能被同一个消费者顺序消费了。
顺序执行
要将消息都发送到同一个MessageQueue中，最简单的方式就是使用取模了，可以根据消息的唯一标识，比如是一个orderId，根据orderId取模然后将一批有序消息放入同一个MessageQueue中，核心代码如下：


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


                



	

		

			

				
					
RocketMQ - 为什么基于 RocketMQ 进行订单库数据同步时会消息乱序？

				
			

			

				

					yang的博客
				

				

					03-08
					
					115
					
				

			

		

		

			
				
当消费者获取消息的时候，可能会部署多台机器组成一个Consumer Group，对于Consumer Group中的每台机器都会负责消费一部分MessageQueue的消息，所以可能一台机器从ConsumerQueue1中获取消息，一台机器从ConsumerQueue2中获取消息，所以完全有可能一个消费者节点先获取了后发到MQ中的消息进行处理。完全可以根据订单id来进行判断，我们可以往MQ里发送消息的时候，根据订单id来判断一下，如果订单id相同，你必须保证他进入同一个MessageQueue。

			
		

	



                

            
              



	

		

			

				
					
IM服务器设计-如何解决消息的乱序

				
			

			

				

					weixin_45583158的博客
				

				

					10-22
					
					1603
					
				

			

		

		

			
				
导读：IM消息需要面对的另一个难题：如何保证收到的消息不乱序。本文先详细分析了乱序的原因，针对每种原因给出了相应的解决办法。并且在文末给出一劳永逸的设计方案。作者 cod...

			
		

	



              


  
              

                


	

		

			

				
					
37 生产案例：基于RocketMQ进行订单库数据同步的消息乱序问题及解决方案、代码实现

				
			

			

				

					喜欢历史的码农
				

				

					07-25
					
					1717
					
				

			

		

		

			
				
1. 消息乱序的场景

前面说过了消息丢失、消息重复、消息处理失败三个问题，接下来是关于消息乱序的问题及解决方案。

场景：消息乱序的发生场景

大数据团队在获取订单数据库中的全部数据后，需要将订单数据保存一份在自己的大数据存储系统中，比如HDFS、Hive、HBase等。

以上的过程在优惠后会基于Canal中间件去监听订单数据库的binlog，也就是通过一些增删改操作的日志，然后把这些binlog发送到MQ里去。

然后大数据系统从MQ里获取binlog，落地到自己的大数据存储中去；再由大数据系统对存储

			
		

	





	

		

			

				
					
浅聊RocketMQ 普通消费模式下的消息重试与乱序问题

					
最新发布

				
			

			

				

					qq_37679639的博客
				

				

					02-24
					
					398
					
				

			

		

		

			
				
RocketMQ 普通消费模式下的消息重试与乱序问题

			
		

	



		

			
		



	

		

			

				
					
MQ消息乱序问题解析与实战解决方案

				
			

			

				

					京东科技开发者
				

				

					12-06
					
					765
					
				

			

		

		

			
				
首先，需要定义一套明确的状态转换规则。这些规则应该基于业务逻辑来确定，以确保消息按照正确的顺序被处理。例如，如果系统要求先处理事件A再处理事件B，那么状态机就应该在接收到事件A后转移到能够处理事件B的状态。2.

			
		

	





	

		

			

				
					
仅此一招，再无消息乱序的烦恼

				
			

			

				

					m0_74931226的博客
				

				

					11-18
					
					385
					
				

			

		

		

			
				
在 Bean 上增加 @TagBasedDispatcherMessageConsumer 注解，并指定 topic 和 consumer在 Bean 的方法上添加 @HandleTag 注解，并指定监听的 tag);}}}}}}}

			
		

	





	

		

			

				
					
MQ收到无序的消息时如何进行业务处理

				
			

			

				

					weixin_52437323的博客
				

				

					02-22
					
					293
					
				

			

		

		

			
				
MQ队列

			
		

	





	

		

			

				
					
RocketMQ-顺序消息原理详解（上）

				
			

			

				

					龚厂长的博客
				

				

					12-24
					
					2954
					
				

			

		

		

			
				
本文基于RocketMQ 4.7.1版本

rocketmq提供了顺序消息的功能，可以保证消息以生产的顺序被消费，用官网上的话就是“FIFO order”。该功能在某些场景下非常有用，比如mysql的binlog日志，还有订单处理场景，订单的生成、支付、撤销必须是有序的。
本文将首先给出一个顺序消息的例子，然后基于该例子介绍顺序消息的原理。
文章目录一、为什么会出现消息乱序消费二、顺序消息代码示例
一、为什么会出现消息乱序消费
rocketmq的一个主题下可以创建多个队列，
二、顺序消息代码示例
本文提供.

			
		

	





	

		

			

				
					
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）

					
热门推荐

				
			

			

				

					张彦峰的博客
				

				

					04-07
					
					171万+
					
				

			

		

		

			
				
互联网高频面试之消息中间件基本问题和知识点整理分析

			
		

	





	

		

			

				
					
RocketMQ(十一)生产案例：为什么基于rocketmq进行订单库数据同步时会消息乱序？+基于延迟消息机制优化大量订单的定时退款扫描问题+订单定时退款场景，分析rocketMQ的延迟消息代码实现

				
			

			

				

					weixin_46950473的博客
				

				

					04-21
					
					591
					
				

			

		

		

			
				
前言：

insert into order(num) value 0;
update order set num = 100,where orderId = 20;
这两条sql要是执行顺序不一致会发生啥问题？下了订单迟迟不支付，堆压一堆未支付的信息在后台线程扫描？会出现什么问题？

1.为什么基于rocketmq进行订单库数据同步时会消息乱序？
1.1.大数据团队同步订单数据库的技术方案回顾：大数据系统直接跑复杂的大sql在订单系统的数据库上出一些数据报表，是会严重影响订单系统的性能的，所以基于cana

			
		

	





	

		

			

				
					
RocketMQ--springbooot整合样例演示--解决消息乱序问题

				
			

			

				

					Strong_shady的博客
				

				

					08-10
					
					371
					
				

			

		

		

			
				
生产者-消费者：
依赖、实体类略
生产者controller：
@RestController
@RequestMapping("/demo")
public class SendController {
    @Autowired
    RocketMQTemplate rocketMQTemplate; //模板类： 和第三方软件建连接及断链接 redisTemplate jdbcTemplate kafkaTemplate

    @GetMapping("/send")
    public 

			
		

	





	

		

			

				
					
RocketMQ中的顺序，乱序消息，佬都知道哪些？

				
			

			

				

					CXY123654654321的博客
				

				

					08-06
					
					653
					
				

			

		

		

			
				
RocketMQ中的顺序消息分为局部顺序和全局顺序，乱序消息等等。局部顺序消息通过Sharding Key将消息分配到不同的队列中，每个队列内的消息保持顺序性；而全局顺序消息则整个Topic内的消息都保持顺序性，但性能较低。在选择顺序消息类型时，需要根据实际业务需求和性能要求进行权衡。

			
		

	





	

		

			

				
					
使用缓存和优先队列解决同步消息乱序的问题

				
			

			

				

					阿豪
				

				

					12-26
					
					290
					
				

			

		

		

			
				
原文链接:
                 
                  使用缓存和优先队列解决同步消息乱序的问题
                 
                
                
                ...

			
		

	





	

		

			

				
					
消息的按序处理

				
			

			

				

					wh柒八九的博客
				

				

					08-26
					
					335
					
				

			

		

		

			
				
本文来说下消息的按序处理

文章目录概述

概述



			
		

	





	

		

			

				
					
Kafka 解决消息丢失、乱序与重复消费

				
			

			

				

					果酱 の 博客
				

				

					10-23
					
					2465
					
				

			

		

		

			
				
Apache Kafka 作为一种强大的分布式消息系统，在实际应用中可能会遇到消息丢失、乱序、重复消费等问题。通过深入理解 Kafka 的工作原理，正确配置生产者、Broker 和消费者的参数，以及采取适当的解决方案，可以有效地解决这些问题，提高系统的稳定性和可靠性。在实际应用中，需要根据具体的业务需求和场景，选择合适的解决方案，并进行充分的测试和监控，确保系统能够正确处理消息。

			
		

	





	

		

			

				
					
各种消息队列经典问题解决方案——消息丢失、顺序消费、消息积压、重复消费

				
			

			

				

					lyq1525761478的博客
				

				

					05-08
					
					1796
					
				

			

		

		

			
				
各种消息队列经典问题解决方案——消息丢失、顺序消费、消息积压、重复消费

			
		

	





	

		

			

				
					
阿里Java面试题剖析：在高并发的情况下如何保证消息的顺序性？

				
			

			

				

					xuchaoyezi的博客
				

				

					07-05
					
					1831
					
				

			

		

		

			
				
面试原题
如何保证消息的顺序性？
面试官心理分析
其实这个也是用 MQ 的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。
面试题剖析
我举个例子，我们以前做过一个 mysql binlog 同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说数据从一个 mysql 库原封不动地同步到另一个 mysql 库里面去（mysql ...

			
		

	





	

		

			

				
					
结构化的并发性

				
			

			

				

					sunny_98_98的博客
				

				

					03-10
					
					677
					
				

			

		

		

			
				
添加co_await可以使同步函数异步化，而不会影响计算结构。被等待的异步操作必须在调用函数之前完成，就像普通函数调用一样。革命是：什么都没有改变。作用域和生存期仍然像往常一样嵌套，只不过现在作用域在时间上是不连续的。对于原始的回调和future，这种结构化就失去了。协程和更普遍的结构化并发，将C++风格的优点——值语义、算法驱动设计、带有确定性终结的清晰所有权语义——带入我们的异步编程中。它这样做是因为它将异步生命周期绑定到普C++词法作用域。

			
		

	





	

		

			

				
					
RocketMQ顺序消息

				
			

			

				

					baidu_32223873的博客
				

				

					03-23
					
					424
					
				

			

		

		

			
				
rocketmq顺序消息指的是消费者接收顺序和生产者发送顺序一致，生产者在发送消息时，会发送到主题的多个队列，对应不同服务器的broker上，因为服务器处理速度的差异和网络通信延迟，这一批消息在消费时无法保证按照发送顺序接收；生产者的发送方法传入队列选择器和消息的shardingKey，通过将shardingKey与队列总数取模得到队列，使得相同shardingKey的消息分到同一队列。因此解决消息顺序问题要从2个角度出发，首先是生产端，需要保证顺序的同一批消息发到同一队列上。

			
		

	





	

		

			

				
					
RocketMQ 3.5.8 安装部署与实例教程

				
			

			

				

					
				

			

		

		

			
				
文档中应该详细说明了这些过程，包括可能遇到的问题及解决方案。  - 参数配置：RocketMQ提供了丰富的配置选项，例如存储路径、内存大小、网络参数等，文档中应当有详细的参数配置介绍，帮助用户根据自己的应用场景...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 6

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值