RocketMQ(14) -- RocketMQ工作原理-- offset管理

分布式消息队列RocketMQ

3.6）offset管理

这里的offset指的是Consumer的消费进度offset，消费进度offset是用来记录每个Queue的不同消费组的消费进度的。根据消费进度记录器的不同，可以 分为两种模式：本地模式和远程模式。

3.6.1）offset本地管理模式

当消费模式为广播消费时，offset使用本地模式存储。因为每条消息会被所有的消费者消费，每个消费者管理自己的消费进度，各个消费者之间不存在消费进度的交集。

Consumer在广播消费模式下offset相关数据以json的形式持久化到Consumer本地磁盘文件中，默认文 件路径为当前用户主目录下的

.rocketmq_offsets/${clientId}/${group}/Offsets.json

其中${clientId}为当前消费者id，默认为ip@DEFAULT；${group}为消费者组名称。

3.6.2） offset远程管理模式

当消费模式为集群消费时，offset使用远程模式管理。因为所有Cosnumer实例对消息采用的是均衡消费，所有Consumer共享Queue的消费进度。

Consumer在集群消费模式下offset相关数据以json的形式持久化到Broker磁盘文件中，文件路径为当前用户主目录下的store/config/consumerOffset.json。

Broker启动时会加载这个文件，并写入到一个双层Map（ConsumerOffsetManager），外层map的key为topic@group，value为内层map；内层map的key为queueId，value为offset；当发生Rebalance时， 新的Consumer会从该Map中获取到相应的数据来继续消费。