RocketMQ为什么同一个消费组设置不同tag 消费一半的问题

最新推荐文章于 2024-01-19 13:10:58 发布
原创 最新推荐文章于 2024-01-19 13:10:58 发布 · 841 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #MQ

博客聚焦于RocketMQ，探讨了同一个消费组设置不同tag时，出现只消费一半的问题，涉及Java和MQ相关知识，属于信息技术领域的后端开发问题。
linux_vae
关注
ROCKETMQ获取不到消息、消费缓慢、或只能收到一部分消息
m0_37860933的博客
04-03 2万+
1. 在配置正确的情况下首先要注意： rocketmq问题汇总-一个consumerGroup只对应一个topic 对于同一个Topic有多个消费者，注明同组即可（但多组会导致消费错误）。另外对应的生产者和消费者不用在字符串上相同。 使用举例如下： 上传组叫AProduceGroup，可以含有生产者 A1Producer / A2Producer， 他们都生产Topic = A的消息 消...
面试官：RocketMQ同一个消费组内的消费者订阅了不同tag，会有问题吗？
zjj2006的专栏
12-18 9511
面试官：同一个消费组内的消费者，如果订阅了相同的 topic，但是订阅的 tag 不一样，会有什么问题吗？ 我：会出现丢消息的情况。 面试官：能详细说一说吗？ 我：RocketMQ 要求同一个消费组内的消费者必须订阅关系一致，如果订阅关系不一致，会出现消息丢失的问题。 面试官：什么是订阅关系一致呢？ 我：订阅关系一致是指同一个消费者组下所有消费者所订阅的 Topic、Tag 必须完全一致。如下图所示： 其中，消费组 1 中的消费组都订阅了 Topic1 中的 Tag1，消费组 2 中的消费组
RocketMq相同topic不同tag踩坑
zh991993144的博客
03-01 3004
RocketMq在我们项目中一般用于系统间的解耦，有时候会使用不同的Consumer消费不同的tag，但是博主昨天踩了个坑。 情景如下： 两个consumer接收相同的topic，不同tag的消息，但是当处方系统发送tagA的消息的时候，consumer2消费了，本来consumer2应该是要丢弃掉的，但是却消费了，主要问题就是配置了相同的Group。 RocketMq消费者如果针对同一个topic不同的tag配置了相同的group，会导致消息消费混乱。 解决方法： 针对不同的tag配置不同的group即
RocketMQ
ChineseSoftware的博客
03-04 2549
一、简述 RocketMQ 一个纯 Java、分布式、队列模型的开源消息中间件，前身是 MetaQ，是阿里研发的一个队列模型的消息中间件，后开源给 apache 基金会成为了 apache 的顶级开源项目，具有高性能、高可靠、高实时、分布式特点。RocketMQ 的逻辑存储结构是物理队列+逻辑队列的结构。 物理队列只有一个，采用固定大小的文件顺序存储消息。逻辑队列有多个，每个逻辑队列有多个分区，每个分区有多个索引。 a.消息顺序写入物理文件里面，每个文件达到一定的大小，新建一个文件继续顺序写数据(消息的写入
消息队列 RocketMQ 消息重复消费问题（原因及解决）
m0_65819602的博客
10-22 1万+
Consumer 消费完消息并不是实时同步到 Broker 的，而是将 offset 先保存在本地map中，通过定时任务持久化上去。这就导致消息被消费了，但是此时消费者宕机了导致 offset 没提交，下次没提交 offset 的这部分消息会被再次消费 即使 offset 被提交到了 Broker，在还没来得及持久化的时候 Broker 宕机了，当重启的时候 Broker 会读取consumerOffset.json 中保存的 offset 信息，这就会导致没持久化 offset 的这部分消息会被再次消费
源码剖析RocketMQ为什么同一个消费组设置不同tag会出现奇怪现象
【原】编程界的小学生
07-10 2297
编程界的小学生一、问题复现1、描述2、代码2.1、Consumer2.2、Producer3、结果二、问题答案三、源码验证1、调用链2、源码2.1、registerConsumer2.2、两个问题 一、问题复现 1、描述 两个一样的Consumer Group的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2，然后分别启动。这时候往Topic的tag1里发送10条数据，Topic的tag2里发送10条。目测应该是
RocketMQ入门到入土（七 )为什么同一个消费组设置不同tag会出现奇怪现象
bishe_teacher的博客
07-23 658
RocketMQ入门到入土（七 )为什么同一个消费组设置不同tag会出现奇怪现象 一、问题复现 1、描述 两个一样的Consumer Group的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2，然后分别启动。这时候往Topic的tag1里发送10条数据，Topic的tag2里发送10条。目测应该是Consumer1和Consumer2分别收到对应的10条消息。结果却是只有Consumer2收到了消息，而且只收到
源码分析RocketMQ同一个消费组设置不同tag，消息订阅失败问题
weixin_34112208的博客
06-14 7836
背景介绍 项目组使用阿里RocketMQ，对同一个消费组设置不同的tag订阅关系，出现消息丢失的问题，本文从rocketmq源码研究消息发布与订阅原理，并分析导致该问题的原因。 官方说明 告诉使用者：同一个消费组，必须保持订阅关系一致 为什么？它没有说！只能从源码找答案 问题复现 启动消费者1，消费组为group1，订阅topicA的消息，tag设置为tag1 || tag2 启动消费者2...
RocketMQ（一）消息的发送、存储与消费
HK的博客
01-19 1531
消息发送、同步发送、异步发送；消息存储、Commitlog、ConsumeQueue、IndexFile；消息消费、集群模式与广播模式
【RocketMQ工作原理】消息堆积与消费延迟
LoveSummer
09-11 2071
概念 消息处理流程中，如果Consumer的消费速度跟不上Producer的发送速度，MQ中未处理的消息会越来 越多（进的多出的少），这部分消息就被称为堆积消息。消息出现堆积进而会造成消息的消费延迟。 以下场景需要重点关注消息堆积和消费延迟问题： 业务系统上下游能力不匹配造成的持续堆积，且无法自行恢复。 业务系统对消息的消费实时性要求较高，即使是短暂的堆积造成的消费延迟也无法接受。 产生原因分析 Consumer使用长轮询Pull模式消费消息时，分为以下两个阶段： 消息拉取 Consumer通过长轮询
10、RocketMQ的Comsumer的消息队列的分配
weixin_45817985的博客
12-12 504
Comsumer的消息队列的分配
RocketMq 部分队列不能消费问题排查
热门推荐
sharedCode源码交流
06-06 1万+
欢迎移步到我个人博客网站阅读 RocketMq 部分队列不能消费问题排查
Rocketmq常见问题
fwhezfwhez的博客
02-04 1962
rocketmq使用过程中，踩过的坑，以及注意事项, 以及最佳实践
Rocketmq面试（一） Rocketmq同一个消费组订阅不同的Tag，会有什么问题？
Chen_leilei的博客
05-30 2701
关键在于最后这个tag的hashcode值，这个 tag 的作用是过滤消息，假如一个 Consumer 订阅了 Topic1 中的 Tag1，那这个 Consumer 拉取消息时，首先从 Name Server 获取订阅关系，得到当前 Consumer 订阅的所有 tag 的 hashcode 集合 codeSet。1.订阅的Topic相同，或者订阅的Topic相同 tag也相同，或者Topic相同，tag的顺序也相同。最后一个问题，怎么看是不是存在订阅关系不一致的 现象？不想看官网的，直接看结论。
面试官：RocketMQ一个消费组内订阅同一个主题不同的TAG为什么会丢消息
中间件兴趣圈
04-30 4156
看源码并不是目的，理解内部的运作机制才是关键，为遇到问题提供解决思路。
RocketMQ 一个topic 多个消费者只有一个消费的问题
索性流年的博客
05-18 1万+
前言 很多时候，我们会在多个地方同时订阅一个 topic，但是发现消费者只能执行一个 后注册消费者会顶替之前注册的消费者 原因 在 subscribeTable和 subscriptionInner方法中，是使用 Map 集合的方式存储topic订阅者 存储格式 大概为 {group : topic} Map 的特性就是 Key 不能重复，所以相同的 Key 会直接替换 解决方法 更改 subscribeTable和 subscriptionInner方法存储的 Key 也就是创建多个消费组，同
RocketMQ 只能收到一部分消息解决
Eelol的博客
06-24 1989
之前连接测试机使用MQ的时候，发现MQ有时候只能消费一半的消息，困扰了好几天，最后找到原因： 进入MQ操作后台，点进Consumer，发现 Quantity=2（有2个监听消费者） 在进入Client，看到2个IP，一个是测试机的，一个是我本机的。由于MQ负载均衡，测试机那边只能给我返回一半的消息 解决：把我本机配置MQ的项目停掉，就ok了 ...
RocketMQ同一个消费组内消费者订阅不同Topic
最新发布
06-10
总结来说，用户的问题核心是同一个消费组内订阅不同Topic的可行性，正确的做法是使用多个消费组来实现，或者统一Topic但用不同的Tag来区分消息。 在 RocketMQ 中，**同一个消费组下的所有消费者必须订阅完全相同的 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值