源码分析RocketMQ同一个消费组设置不同tag，消息订阅失败问题

最新推荐文章于 2025-06-26 19:58:58 发布
最新推荐文章于 2025-06-26 19:58:58 发布
阅读量7.7k 收藏 8
点赞数 2
CC 4.0 BY-SA版权
文章标签： java 数据结构与算法
原文链接：https://juejin.im/post/5cfa7065f265da1ba647dddd
本文通过源码分析RocketMQ中同一消费组设置不同tag导致消息订阅失败的原因。当不同消费者设置不同tag时，后启动的消费者会覆盖先启动的订阅，改变过滤条件，从而影响消息接收。服务端和客户端的过滤机制导致了消息丢失和不准确的过滤效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

背景介绍

项目组使用阿里RocketMQ，对同一个消费组设置不同的tag订阅关系，出现消息丢失的问题，本文从rocketmq源码研究消息发布与订阅原理，并分析导致该问题的原因。

官方说明

  • 告诉使用者：同一个消费组，必须保持订阅关系一致
  • 为什么？它没有说！只能从源码找答案

问题复现

  1. 启动消费者1，消费组为group1，订阅topicA的消息，tag设置为tag1 || tag2
  2. 启动消费者2，消费组也为group1，也订阅topicA的消息，但是tag设置为tag3
  3. 启动生产者，生产者发送含有tag1,tag2,tag3的消息各10条
  4. 消费者1没有收到任何消息，消费者2收到部分消息

先上结论

  • 同一个消费组中，设置不同tag时，后启动的消费者会覆盖先启动的消费者设置的tag
  • tag决定了消息过滤的条件，经过服务端和客户端两层过滤，最后只有后启动的消费者才能收到部分消息

原理说明

消息如何保存

CommitLog

  • 保存所有topic的原始消息
  • CommitLog分为多个文件，每个文件默认最大为1G
  • 每条记录包括：消息长度和消息文本（消息体，属性，uid等等）
  • 因每条消息长度不一
最低0.47元/天 解锁文章

200万优质内容无限畅学
【消息队列】RocketMQ 消息的 topic 和 tag 区别以及使用方式
代码的魅力，根本走不出来
01-18 4717
在 RocketMQ 中，消息的 Topic 和 Tag 是用于标识和分类消息的两个关键属性。它们有不同的作用和使用方式。
源码分析RocketMQ消息过滤机制上篇-----消息消费服务端过滤与TAG模式过滤实现
2401_84048542的博客
04-22 712
学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的MyBtis知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的MyBtis知识脑图原件（包括上方的面试解析xmind文档）
面试官：RocketMQ同一个消费组内的消费者订阅了不同tag，会有问题吗？
zjj2006的专栏
12-18 9392
面试官：同一个消费组内的消费者，如果订阅了相同的 topic，但是订阅的 tag 不一样，会有什么问题吗？ 我：会出现丢消息的情况。 面试官：能详细说一说吗？ 我：RocketMQ 要求同一个消费组内的消费者必须订阅关系一致，如果订阅关系不一致，会出现消息丢失的问题。 面试官：什么是订阅关系一致呢？ 我：订阅关系一致是指同一个消费者组下所有消费者所订阅的 Topic、Tag 必须完全一致。如下图所示： 其中，消费组 1 中的消费组都订阅了 Topic1 中的 Tag1，消费组 2 中的消费组
用了这么久才知道！RocketMQ的tag还有这个“坑”！
kangbin825的专栏
06-12 1411
综上述所述，使用TAG并不会因为对应tag数量比较少，从而造成大量积压的情况。
RocketMQ中的生产者组和消费者组详解
最新发布
学亮编程手记
06-26 556
生产者组是一组生产相同类型消息的生产者实例的集合。这些生产者通常发送业务逻辑相关的消息。
源码剖析RocketMQ为什么同一个消费组设置不同tag会出现奇怪现象
【原】编程界的小学生
07-10 2265
编程界的小学生一、问题复现1、描述2、代码2.1、Consumer2.2、Producer3、结果二、问题答案三、源码验证1、调用链2、源码2.1、registerConsumer2.2、两个问题 一、问题复现 1、描述 两个一样的Consumer Group的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2，然后分别启动。这时候往Topic的tag1里发送10条数据，Topic的tag2里发送10条。目测应该是
RocketMq消息模型-Tag
Flying_Fish_roe的博客
11-17 1987
RocketMQ 中的 Tag 是一种高效的消息过滤机制，允许生产者对消息进行分类，并让消费者根据需要订阅特定类型的消息。通过 Tag，系统可以实现消息的细粒度控制、业务隔离以及动态扩展。在实际应用中，合理设计和使用 Tag 可以显著提高消息系统的效率和灵活性。同时，在复杂场景下，可以结合 SQL 过滤功能，满足更加复杂的业务需求。​。
RocketMQ (四) 使用RocketMQ原生API收发消息代码样例
wanght笔记
07-16 8247
文章目录同步消息生产者消费者异步消息生产者消费者单向消息生产者消费者顺序消息生产者消费者延时消息生产者消费者批量消息生产者消费者消息过滤生产者消费者事务消息生产者消费者 同步消息 生产者 package demo1; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.
【RocketMQ】RocketMQ标签、过滤及消息重复消费
Decade_Faiz的博客
06-01 2808
Broker 端会为每个消息创建索引（哈希索引），应用可以通过 topic、key 来查询这条消息内容，以及消息被谁消费。但通常情况下，不同的 Topic 之间的消息没有必然的联系，而 Tag 则用来区分同一个 Topic 下相互关联的消息，例如全集和子集的关系、流程先后的关系。注：msgId一定是全局唯一标识符，但是实际使用中，可能会存在相同的消息有两个不同msgId的情况（消费者主动重发、因客户端重投机制导致的重复等），这种情况就需要使业务字段进行重复消费。如果失败，则直接返回。消息为什么会重复消费？
我擦，RocketMQ的tag还有这个“坑”
中间件兴趣圈
03-21 3443
RocketMQ提供了基于Tag的消息过滤机制，但在使用过程中有很多朋友或多或少会有一些疑问，我不经意在RocketMQ官方钉钉群，我记得有好多朋友都有问到如下问题： 今天我就与RocketMQ Tag几个值得关注的问题，和大家来做一个分享，看过后的朋友，如果觉得有帮助，期待你的点赞支持。 消费组订阅关系不一致为什么会到来消息丢失？ 如果一个tag的消息数量很少，是否会显示很高的延迟？ 1、消费组订阅关系不一致导致消息丢失 从消息消费的视角来看消费组是一个基本的物理隔离单位，每一个消费组拥有自
springboot整合rocketmq源码
04-22
- **顺序消息**：在特定场景下，我们需要保证消息的处理顺序，RocketMQ提供了一种基于消息Tag的顺序消息机制，需要合理设计生产者和消费者的处理逻辑。 4. **源码解析**： - **启动类**：在SpringBoot的主类中，...
RocketMQ之消费者，消息拉取流程详解附源码解析
通往IT大道的专栏
07-09 1372
上一篇重平衡篇有提到，重平衡将为消费者负载的队列创建拉取请求并放入队列，后续不会新建而是重复使用这个拉取请求，取出执行一次，拉取完成之后更新拉取偏移量，再将它重新放入队列。消息拉取流控检查，检查处理队列中还未被消费的消息，从待消费消息数量、大小和待消费消息偏移量差来判断。根据队列找到对应的消费队列，读取消费队列判断是否有消息可以消费，如果有则根据消费队列中的索引项，用物理偏移量从消息存储中查找消息。消费者的处理线程池处理拉取完成的回调，将消息从拉取到的响应中解码出来，放入消费队列，让消费服务消费。
rocketmq源码分析
BraveHeart
04-23 3381
文章目录前言一、NameServer路由中心二、消息存储1.消息发送存储流程2.存储文件三、消息消费1、消息者启动流程2、消息拉取1、PullMessageService实现机制2、ProcessQueue实现机制3、消息拉取基本流程3.1客户端封装消息拉取请求3.2消息服务端Broker组装信息3.3消息拉取客户端处理消息3.4消息拉取长轮询机制分析3.5PullRequestHoldService3.6DefaultMessageStore$ReputMessageService详解总结 前言 疫情期
RocketMQ之Topic和Tag最佳实践
qq_53281187的博客
04-09 2068
RocketMQ的主题用于对消息进行分类和组织。通过为不同类型的消息分配不同的主题，可以使消息更具可读性和可管理性。每个主题都有自己的消息队列，用于存储该主题下的消息。每个队列都可以并行地接收和处理消息，从而实现高吞吐量和负载均衡。生产者在发送消息时指定目标主题，消费者则通过订阅感兴趣的主题来接收对应的消息。RocketMQ根据主题将消息路由到相应的队列上，然后再由消费者消费。
RocketMQ快速入门：group、topic、queue、tag等基本概念（四）
55555的博客
04-23 6477
上一节，我们说明了rocketmq中的4个核心组成以及他们之间的工作关系。但其中穿插的topic, queue等概念，如果未接触过mq的同学可能会有些迷糊，所以本节，我们重点针对rocketmq中的基本概念进行讲解，之前学习过其他mq的同学也能够形成对比。
Rocketmq Filter 消息过滤（TAGS、SQL92）原理详解 & 源码解析
金甲虫的博客
08-08 2982
第一层根据消费队列过滤主要是用来在许多消费组之间筛选出有可能匹配的消费组，第二层过滤（消息详情过滤）则根据消费组设定的过滤表达式，根据消息的属性和 Tag 进行精确匹配过滤。通过这两个过滤方法，可以实现二层过滤，先根据较少的信息（消费队列）进行一次粗粒度的过滤，再根据完整的消息信息做精确过滤，这样能够减少精确过滤的次数，提升性能。具体的做法是，在消息生产时构造消费队列的过程当中，获取所有订阅该 Topic 的有过滤条件的消费组，预先根据这些消费组的过滤表达式进行一次精确匹配，计算出这条消息是否匹配。
RocketMq的group,topic和tag
liuerchong的博客
02-26 1343
Topic是生产者在发送消息和消费者在拉取消息的类别。Topic与生产者和消费者之间的关系非常松散。具体来说，一个Topic可能有0个，一个或多个生产者 向它发送消息；相反，一个生产者可以发送不同类型Topic的消息。类似的，消费者组可以订阅一个或多个主题，只要该组的实例保持其订阅一致即可。Topic表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。一个生产者可以同时发送多种Topic的消息；
Topic 与 Tag 最佳实践
lppl010_的专栏
04-07 2851
https://help.aliyun.com/document_detail/95837.html 概念 Topic 和 Tag 的定义如下： Topic：消息主题，通过 Topic 对不同的业务消息进行分类。 Tag：消息标签，用来进一步区分某个 Topic 下的消息分类，消息队列 RocketMQ 允许消费者按照 Tag 对消息进行过滤，确保消费者最终只消费到他关注...
RocketMQ消息的过滤（TAG过滤、SQL过滤）解析
yqqの博客
06-25 1093
在实际的开发应用中，对于一类消息尽可能使用一个Topic进行存储，但在消费时需要选择您想要的消息，这时可以使用RocketMQ的消息过滤功能，具体实现是利用消息的Tag和Key。Key一般用于消息在业务层面的唯一标识。对发送的消息设置好 Key，以后可以根据这个 Key 来查找消息。比如消息异常，消息丢失，进行查找会很方便。RocketMQ 会创建专门的索引文件，用来存储 Key与消息的映射，由于底层实现是 Hash 索引，应尽量使 Key唯一，避免潜在的哈希冲突。Tag可以理解为是二级分类。
深入分析RocketMQ消息中间件的整合源码
RocketMQ 的源码分析是理解其内部工作原理的有效手段，对于开发者来说，深入理解源码对于提升性能、排查问题和开发定制化功能至关重要。开源项目 RocketMQ-develop 中包含了所有必要的源码资源，开发者可以从源码...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值