RocketMQ(14) -- RocketMQ工作原理-- offset管理

最新推荐文章于 2025-09-17 16:52:10 发布
原创 最新推荐文章于 2025-09-17 16:52:10 发布 · 561 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rocketmq

RocketMQ的Offset管理涉及本地和远程模式。在广播模式下，Consumer的offset本地存储，集群模式则采用远程管理，确保Rebalance时的消费进度一致性。消费者启动时通过设置指定消费起始位置，消费完成后提交offset到Broker。异常情况下，offset进入重试队列，提交方式有同步和异步两种，影响消费者吞吐量。

分布式消息队列RocketMQ

3.6）offset管理

这里的offset指的是Consumer的消费进度offset，消费进度offset是用来记录每个Queue的不同消费组的消费进度的。根据消费进度记录器的不同，可以 分为两种模式：本地模式和远程模式。

3.6.1）offset本地管理模式

当消费模式为广播消费时，offset使用本地模式存储。因为每条消息会被所有的消费者消费，每个消费者管理自己的消费进度，各个消费者之间不存在消费进度的交集。

Consumer在广播消费模式下offset相关数据以json的形式持久化到Consumer本地磁盘文件中，默认文 件路径为当前用户主目录下的

.rocketmq_offsets/${clientId}/${group}/Offsets.json

其中${clientId}为当前消费者id，默认为ip@DEFAULT；${group}为消费者组名称。

3.6.2） offset远程管理模式

当消费模式为集群消费时，offset使用远程模式管理。因为所有Cosnumer实例对消息采用的是均衡消费，所有Consumer共享Queue的消费进度。

Consumer在集群消费模式下offset相关数据以json的形式持久化到Broker磁盘文件中，文件路径为当前用户主目录下的store/config/consumerOffset.json。

Broker启动时会加载这个文件，并写入到一个双层Map（ConsumerOffsetManager），外层map的key为topic@group，value为内层map；内层map的key为queueId，value为offset；当发生Rebalance时， 新的Consumer会从该Map中获取到相应的数据来继续消费。

最低0.47元/天 解锁文章
RocketMQ（十）——Consumer消费进度（Offset）的管理
稷下学员的笔记博客
12-31 5595
文章目录Consumer消费进度（Offset）的管理Offset本地管理模式Offset远程管理模式offset用途重试队列offset的同步提交与异步提交 Consumer消费进度（Offset）的管理 消费进度offset是用来记录每个Queue的不同消费者组的消费进度的。根据消费进度记录器的不用，可以分为两种模式：本地模式和远程模式 Offset本地管理模式 当消费模式为 广播消费时，offset使用本地模式存储。因为每条消息会被素有的消费者消费。每个消费者管理自己的消费进度，各个消费者之间
【RocketMq实战第六篇】-Offset
晏霖/胖虎的博客
01-28 1万+
前言 实际运行 中的系统，难免 会遇到重新消费某条消息、 跳过 一段 时间内的消息等情况 。 这些异常情况的处理，都和 Offset 有关。 正文 首先来明确一下 Offset 的含义， RocketMQ 中， 一 种类型的消息会放到 一 个 Topic 里，为了能够并行， 一般一个 Topic 会有多个 Message Queue (也可以 设置成一个)， Offset是指某个 Topic...
十分钟全面了解RocketMQ
小明同学
03-31 3322
RocketMQ总结 简介: RocketMQ是一款使用java编写的消息中间件，主要提供了消息发布、消息订阅、消费消息的使用功能，方便对业务进行解耦 本文将从以下几个方面介绍RocketMq 名词解释 架构与业务流程 角色功能说明 消息类型 负载均衡 名词解释 1.主题（Topic） 主题，代表某一类消息的集合，一个Topic下会有若干个消息，一个消息只属于一个Topic，是消息订阅的基本单位 Topic是逻辑上的概念，每个Topic会有多个消息队列 messageQueue，而这些消息队列又可以分布
RocketMQ -- offset管理
meser88的博客
05-19 4580
正文首先来明确一下 Offset 的含义， RocketMQ 中， 一 种类型的消息会放到 一 个 Topic 里，为了能够并行， 一般一个 Topic 会有多个 Message Queue (也可以 设置成一个)， Offset是指某个 Topic下的一条消息在某个 Message Queue里的 位置，通过 Offset的值可以定位到这条消息，或者指示 Consumer从这条消息 开始向后继续处理。Rocketmq集群有两种消费模式。
RocketMQ-offset管理
程序员劝退师的博客
12-21 2088
前言 这里offset是指的是Consumer的消息进度offset，消费进度offset是用来记录每个Queue的不同消费组的消息进度的，根据消费进度记录器的不同，可以分为两种模式，本地模式和远程模式 offset本地管理模式 当消费模式为广播模式时，offset使用本地模式存储，因为每条消息会被所有消费者消费，每个消费者管理自己的消费进度，各个消费者之间不存在进度交集。Consumer在广播模式下offset相关数据以json的形式持久化到Consumer本地磁盘文件中，默认文件为当前用户目录下的.ro
RocketMQ 基础教程-原理篇-offset管理
smart_an的专栏
06-25 1245
作者简介：大家好，我是哥，前中兴通讯、美团架构师，现某互联网公司联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬学习必须往深处挖，挖的越深，基础越扎实！这里的offset指的是Consumer的消费进度offset。消费进度offset是用来记录每个Queue的不同消费组的消费进度的。根据消费进度记录器的不同，可以分为两种模式：本地模式和远程模式。
rocketmq-exporter 安装配置
qianghong000的博客
01-21 1781
rocketmq-exporter
RocketMQ --- 原理篇
shuai_h的博客
06-26 1653
ProducerConsumerBroker广播消费集群消费一个 Consumer Group 中的 Consumer 实例平均分摊消费消息。例如某个 Topic 有 9 条消息，其中一个Consumer Group 有 3 个实例（可能是 3 个进程，或者 3 台机器），那么每个实例只消费其中的 3 条消息。在 CORBA Notification 规范中，无此消费方式。
【RocketMQ】----第3章 RocketMQ工作原理
记录生活
09-17 1268
当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响，那么这个消费过程就是消费幂等的。幂等：若某操作执行多次与执行一次对系统产生的影响是相同的，则称该操作是幂等的。在互联网应用中，尤其在网络不稳定的情况下，消息很有可能会出现重复发送或重复消费。如果重复的消息可能会影响业务处理，那么就应该对消息做幂等处理。
RocketMq 消息偏移量 Offset
xingran0827的专栏
04-23 1631
消息偏移量 Offset queue0　　offset 0 0-20 offset 1 20-40 纠错：每条消息的tag对应的HashCode. queue1　　offset 0 0-20 offset 1 20-40 queue2　　offset 0 0-20 offset 1 20-40 queue3　　offset 0 0-20 offset 1 20-40 SendResult [sendStatus=SEND_OK, msgId=C0A81F98545C18B4AAC
Rocketmq offset进度管理
八荒六合唯我独尊
10-19 1824
下文以DefaultMQPushConsumerImpl集群模式消费消息为例。 概述 消息消费完成后，需要将消费进度存储起来，即前面提到的offset。广播模式下，同消费组的消费者相互独立，消费进度要单独存储；集群模式下，同一条消息只会被同一个消费组消费一次，消费进度会参与到负载均衡中，故消费进度是需要共享的。 消费者端 提交offset入口 入口在org.apache.rocketmq.client.impl.consumer.ConsumeMessageConcurrentlyService#
RocketMQ消费进度offset
aideserter的博客
07-13 1676
1. OffsetStore:消费进度管理接口 1.1 接口方法 1 ) void load() 从消息进度存储文件加载消息进度到内存。 2 ) void updateOffset ( final MessageQueue mq, final long offset, final boolean increaseOnly) 更新内存中的消息消费进度。 MessageQueue mq ：消息消费队列。 3 ) long read Offset ( fin a l MessageQueue mq, final
探究 | RocketMQ offset管理机制~
m0_71777195的博客
08-29 1692
一个Topic会存在多个messageQueue，每个messageQueue都会被Consumer消费，那么Consumer该从哪开始消费呢？这就涉及到offset了，每个messageQueue会记录一个offset表示当前的消费进度，Consumer直接从offset开始消费即可。借用一下网上的图~通过本文，我们了解了RocketMQ的offSet管理机制。
RocketMq offset 消费
xiaomin1991222的专栏
06-12 354
List<MessageVo> msgList = new ArrayList<MessageVo>(); try { Set<MessageQueue> mqs = consumer.fetchSubscribeMessageQueues(queueName); ...
RocketMq消息模型-offset
Flying_Fish_roe的博客
11-17 1562
在消息队列系统中，Offset（位移）是一个非常重要的概念，用于记录消费者消费消息的位置。它的主要作用是保证消息在消费过程中不会丢失，并且可以在系统故障后从正确的位置继续消费。RocketMQ 中的 Offset 机制与 Kafka 类似，但也有其独特之处。理解和掌握 Offset 的工作原理对于确保消息系统的可靠性和一致性至关重要。Offset 是消费者在消费消息时的一个标识，表示消费者当前已经消费到的消息在队列中的位置。
rocketMq -- offset管理
weixin_38829588的博客
05-08 1231
首先我们来看下rocketMQ的消费进度文件格式。
RocketMQ（8）消息队列Offset和CommitLog
奇点
07-29 5525
RocketMQ消息偏移量Offset 目录 RocketMQ消息偏移量Offset RocketMQ消息存储CommitLog 高性能分析之ZeroCopy零拷贝技术 什么是offset message queue是无限长的数组，一条消息进来下标就会长1，下标就是offset，消息在某个MessageQueue里的位置，通过offset的值可以定位到这条消息，或者指示Consum...
【RocketMQ工作原理】offset管理
LoveSummer
09-11 2162
这里的offset指的是Consumer的消费进度offse 消费进度offset是用来记录每个Queue的不同消费组的消费进度的。根据消费进度记录器的不同，可以 分为两种模式：本地模式和远程模式。 offset本地管理模式 当消费模式为广播消费时，offset使用本地模式存储。因为每条消息会被所有的消费者消费，每个消费 者管理自己的消费进度，各个消费者之间不存在消费进度的交集。 Consumer在广播消费模式下offset相关数据以json的形式持久化到Consumer本地磁盘文件中，默认文 件路径为.
云原生中间件RocketMQ-消费者消费模式之广播模式、偏移量offset解析
热门推荐
write less , do more
08-21 1万+
msgId一定是全局唯一标识符，但是实际使用中，可能会存在相同的消息有两个不同msgId的情况（消费者主动重发、因客户端重投机制导致的重复等），这种情况就需要使业务字段进行重复消费。： 当使用广播消费模式时， 消息队列 RocketMQ 会将每条消息推送给集群内所有注册过的客户端， 保证消息至少被每台机器消费一次。相比于集群模式，广播模式的特点为： 每个消费者都会消费所订阅的Topic + Tag下的所有queue中的所有消息。在广播模式下，RocketMQ 可以保证至少被每台机器消费一次。
rocketMQ工作原理
最新发布
09-23
RocketMQ主要由NameServer、Broker、Producer、Consumer四个部分组成，具备延迟队列、消息重试、死信队列、事务消息等基本特性[^1]。 消息存储方面，RocketMQ的消息存储在磁盘上，这样既能保证断电后恢复，也能让存储的消息量超出内存限制。为提高性能，会尽可能保证磁盘的顺序写。消息通过Producer写入时，有分布式同步刷盘和异步刷盘两种写磁盘方式[^2]。 在索引构建上，ReputMessageService线程除构建消费队列的索引外，还为每条消息根据id、key构建索引到IndexFile，方便快速定位目标消息，且构建随机索引的能力可以降级[^3]。 消费查找消息时，与Kafka不同，Kafka一个topic下的partition有独立文件，在topic里找消息即可，且将consumer group跟topic的offset关系保存在特殊topic中；而RocketMQ在统一的巨大commitLog中查找消息，需要遍历全部消息，效率较低，不过这也使消费变得更复杂[^4]。 ### 代码示例 虽然代码不能直接体现RocketMQ工作原理，但以下是一个简单的使用RocketMQ发送和接收消息的示例（基于Java）： ```java import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.common.message.Message; import org.apache.rocketmq.remoting.common.RemotingHelper; import java.io.UnsupportedEncodingException; // 生产者代码示例 public class ProducerExample { public static void main(String[] args) throws MQClientException, InterruptedException, UnsupportedEncodingException { // 实例化消息生产者Producer DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name"); // 指定NameServer地址 producer.setNamesrvAddr("localhost:9876"); // 启动Producer实例 producer.start(); for (int i = 0; i < 10; i++) { // 创建消息，并指定Topic，Tag和消息体 Message msg = new Message("TopicTest" /* Topic */, "TagA" /* Tag */, ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */ ); // 发送消息到一个Broker SendResult sendResult = producer.send(msg); // 通过sendResult返回消息是否成功送达 System.out.printf("%s%n", sendResult); } // 如果不再发送消息，关闭Producer实例。 producer.shutdown(); } } import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.common.message.MessageExt; import java.util.List; // 消费者代码示例 public class ConsumerExample { public static void main(String[] args) throws InterruptedException, MQClientException { // 实例化消费者 DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name"); // 指定NameServer地址 consumer.setNamesrvAddr("localhost:9876"); // 订阅一个或者多个Topic，以及Tag来过滤需要消费的消息 consumer.subscribe("TopicTest", "*"); // 注册回调实现类来处理从broker拉取回来的消息 consumer.registerMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) { System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msgs); // 标记该消息已经被成功消费 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); // 启动消费者实例 consumer.start(); System.out.printf("Consumer Started.%n"); } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值