RocketMQ(11) -- RocketMQ工作原理-- indexFile

RocketMQ的indexFile工作原理详解
原创 已于 2022-05-05 18:54:36 修改 · 382 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rocketmq

于 2022-05-05 18:53:26 首次发布
本文介绍了RocketMQ中indexFile的工作原理，包括索引条目结构、创建过程和查询流程。indexFile用于实现根据key的消息快速查询，每个文件包含header、slots和indexes，每个Broker有一组按时间戳命名的indexFile。查询时，通过key的hash值定位slot，再通过indexNo找到索引单元，从而获取消息的commitlog偏移量和时间戳。

分布式消息队列RocketMQ

3.3）indexFile

除了通过通常的指定Topic进行消息消费外，RocketMQ还提供了根据key进行消息查询的功能。该查询是通过store目录中的index子目录中的indexFile进行索引实现的快速查询。当然，这个indexFile中的索引数据是在包含了key的消息被发送到Broker时写入的。如果消息中没有包含key，则不会写入。

3.3.1） 索引条目结构

每个Broker中会包含一组indexFile，每个indexFile都是以一个时间戳命名的（这个indexFile被创建时的时间戳）；

每个indexFile文件由三部分构成：indexHeader，slots槽位，indexes索引数据；

每个 indexFile文件中包含500w个slot槽，而每个slot槽又可能会挂载很多的index索引单元。

 indexHeader固定40个字节，其中存放着如下数据：

  • beginTimestamp：该indexFile中第一条消息的存储时间

  • endTimestamp：该indexFile中后一

最低0.47元/天 解锁文章
RocketMQ源码分析（一）： 索引文件(IndexFile)
rodbate的博客
12-11 5269
前引： RocketMQ – 阿里贡献给Apache的消息中间件，现已升级为Apache顶级项目, GITHUB项目地址。一，索引文件(IndexFile)物理结构一个索引文件从整体上可以分为header和其它部分(body)。整个索引文件对应类org.apache.rocketmq.store.index.IndexFile, header对应类org.apache.rocketmq.store.
深度解析RocketMq源码-IndexFile
zhifou123456的博客
06-27 1115
在工作中，我们经常需要根据msgKey查询到某条日志。但是，通过前面对commitLog分析，producer将消息推送到broker过后，其实broker是直接消息到达broker的先后顺序写入到commitLog中的。我们如果想根据msgKey检索一条消息无疑大海捞针，所以们需要像数集一样建立一个目录，我们其实可以想到的是构建一个Map，key存储msgKey，value存储msg在commitLog中的物理偏移量。而这个目录其实就是indexFile。
【RocketMQ工作原理】indexFile
LoveSummer
09-11 787
除了通过通常的指定Topic进行消息消费外，RocketMQ还提供了根据key进行消息查询的功能。该查询 是通过store目录中的index子目录中的indexFile进行索引实现的快速查询。当然，这个indexFile中的索 引数据是在包含了key的消息被发送到Broker时写入的。如果消息中没有包含key，则不会写入。 索引条目结构 每个Broker中会包含一组indexFile，每个indexFile都是以一个时间戳命名的（这个indexFile被创建时 的时间戳）。每个indexFile文件由三部分
RocketMQ IndexFile 索引文件 源码解析
金甲虫的博客
03-01 1282
1. 概述 1.1 索引文件是什么 IndexFile，又可以称作索引文件，是 RocketMQ 保存在磁盘上的一种文件，属于 RocketMQ 存储的一部分。它的结构类似于类似 JDK中 HashMap。 可以通过messageIndexEnable属性配置打开或关闭 IndexFile 存储功能。 1.2 索引文件作用 索引文件的应用场景其实比较局限，是为了提供按照 Message Key 查询消息的能力。索引文件可以通过 Message Key，查询到消息在 CommitLog 中的物理偏移量，进而从
RocketMQ IndexFile（索引文件）
LZJLZJLZJLZJLZJLZJ的专栏
04-09 1847
目录说明索引建立过程IndexFile文件结构总结 说明 RocketMQ支持根据消息的key进行消息查询，由于消息都是顺序存在MapperFile上，当需要根据指定的key进行消息查找时，只能对所有的消息进行遍历，显然这种方法是不可取的。为了提高消息查询效率，RocketMQ会为每条消息里的key建立索引，加快消息的检索。 ReputMessageService，会不停地检测是否有新的消息还未建立索引，当发现某条消息还未建立索引时，会将建立索引的任务分发给CommitLogDispatcherBuildI
RocketMQ【消息存储】之IndexFile
weixin_43420030的博客
06-04 704
indexFile详解
精选资源
rocketmq-4.9.2版本
05-06
- **Index File**：为消息创建索引，加快消息查询速度。 - **Message Queue**：逻辑上的消息队列，多个消费者可以并行消费。 4. **主从复制** - **HA（High Availability）**：通过主从切换保证服务不中断。 - ...
【RocketMQ】----第3章 RocketMQ工作原理
记录生活
09-17 1268
当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响，那么这个消费过程就是消费幂等的。幂等：若某操作执行多次与执行一次对系统产生的影响是相同的，则称该操作是幂等的。在互联网应用中，尤其在网络不稳定的情况下，消息很有可能会出现重复发送或重复消费。如果重复的消息可能会影响业务处理，那么就应该对消息做幂等处理。
RocketMQ存储之IndexFile
feijianke666的博客
08-09 639
一、功能概述 IndexFile提供了可以通过key或时间区间来查询消息的功能。IndexFile的功能很简单，但是文件的结构要比CommitLog和ConsumeQueue要复杂些。本篇我们分析IndexFile的实现细节。 二、源码分析
6.RocketMQ之文件查询索引文件IndexFile
qq_36851469的博客
08-21 414
根据消息ID来查找消息，consumequeue 中没有存储消息ID,如果不采取其他措施，又得遍历 commitlog文件了，indexFile就是为了解决这个问题的文件。
RocketMQ 索引文件（IndexFile）详解：结构、原理与源码剖析
u013127325的博客
05-25 1009
RocketMQ 的消息存储采用顺序写 CommitLog 的方式保证高性能，但这种方式在随机读场景下效率较低。IndexFile 作为一种辅助存储结构，旨在为消息提供基于 Key 的快速检索能力，弥补了顺序写在查询场景下的不足。IndexFile 作为 RocketMQ 的核心组件之一，通过精心设计的哈希索引结构，为消息提供了高效的基于 Key 的检索能力。其固定大小的文件设计、内存映射机制以及时间范围查询特性，使得 RocketMQ 在处理海量消息时依然能够保持出色的检索性能。
RocketMQ（六）—IndexFile详解
稷下学员的笔记博客
12-26 3754
IndexFile 除了通过指定Topic进行消息消费外，RocketMQ还提供了根据Key进行消息查询的功能。该查询通过store/index/infdexFile进行索引实现的快速查询。这个indexFile中的索引数据是包含Key的消息被发送到Broker时写入的。如果消息中没有Key，不会被写入。 索引条目结构 每个Broker包含一组indexFile，每个indexFile都是以该indexFile被创建时的时间戳进行命名的。 每个indexFile由三部分组成：indexHeader（
RocketMQ IndexFile 详解
黎明就要到来
06-21 1420
该文所涉及的 RocketMQ 源码版本为 4.9.3。
rocketmq IndexFile源码分析
changjh1的博客
05-19 309
IndexFile 存储具体消息索引的文件，文件的内容结构如图
RocketMQ存储篇——IndexFile和IndexService
meilong_whpu的专栏
08-08 4336
1 IndexFile 为操作Index文件提供访问服务,Index文件的存储位置是：$HOME \store\index\${fileName}，文件名fileName是以创建时的时间戳命名的，文件大小是固定的，等于40+500W*4+2000W*20= 420000040个字节大小。 1.1 Index文件的数据结构 Index Header结构各字段的含义： beginT
RocketMQ 笔记3 IndexFile
ry的专栏
05-16 583
IndexFile大小固定，文件名是创建时候的时间戳IndexHeader(40字节)    Slot Table(500w * 4字节)   Index Linked List(4 * 500W * 20字节)IndexHeader结构beginTimestamp(8)   第一个索引消息保存broker的时间戳endTimestamp(8)    最后一个索引消息保存broker的时间戳beg...
RocketMQ消息存储五：逻辑对象层IndexFile
夏天的伞
07-23 525
概述 IndexFile存储消息的索引信息，可以根据key进行查找。 存储文件信息 存储目录为HOME/store/index/，每个文件大小为420000040字节。文件名字为创建时的时间戳。 IndexFile格式 可以把IndexFile理解为哈希表。IndexFile解决冲突的方式是拉链，即把哈希值相同的数据存到链表中。如果在内存中，数据结构应该是一个slot数组，对象类型为index的一...
源码分析RocketMQ之消费队列、Index索引文件存储结构与存储机制-上篇
中间件兴趣圈
01-24 7129
RocketMQ 存储基础回顾： 源码分析RocketMQ之CommitLog消息存储机制 本文主要从源码的角度分析 Rocketmq 消费队列 ConsumeQueue 物理文件的构建与存储结构，同时分析 RocketMQ 索引文件IndexFile 文件的存储原理、存储格式以及检索方式。RocketMQ 的存储机制是所有的主题消息都存储在 CommitLog 文件中，也就是消息发送是完全的顺...
rocketmq的broker源码解读七（index文件）
简单，快乐，拥抱变化
04-02 384
broker之index
rocketMQ工作原理
最新发布
09-23
RocketMQ主要由NameServer、Broker、Producer、Consumer四个部分组成，具备延迟队列、消息重试、死信队列、事务消息等基本特性[^1]。 消息存储方面，RocketMQ的消息存储在磁盘上，这样既能保证断电后恢复，也能让存储的消息量超出内存限制。为提高性能，会尽可能保证磁盘的顺序写。消息通过Producer写入时，有分布式同步刷盘和异步刷盘两种写磁盘方式[^2]。 在索引构建上，ReputMessageService线程除构建消费队列的索引外，还为每条消息根据id、key构建索引到IndexFile，方便快速定位目标消息，且构建随机索引的能力可以降级[^3]。 消费查找消息时，与Kafka不同，Kafka一个topic下的partition有独立文件，在topic里找消息即可，且将consumer group跟topic的offset关系保存在特殊topic中；而RocketMQ在统一的巨大commitLog中查找消息，需要遍历全部消息，效率较低，不过这也使消费变得更复杂[^4]。 ### 代码示例 虽然代码不能直接体现RocketMQ工作原理，但以下是一个简单的使用RocketMQ发送和接收消息的示例（基于Java）： ```java import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.common.message.Message; import org.apache.rocketmq.remoting.common.RemotingHelper; import java.io.UnsupportedEncodingException; // 生产者代码示例 public class ProducerExample { public static void main(String[] args) throws MQClientException, InterruptedException, UnsupportedEncodingException { // 实例化消息生产者Producer DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name"); // 指定NameServer地址 producer.setNamesrvAddr("localhost:9876"); // 启动Producer实例 producer.start(); for (int i = 0; i < 10; i++) { // 创建消息，并指定Topic，Tag和消息体 Message msg = new Message("TopicTest" /* Topic */, "TagA" /* Tag */, ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */ ); // 发送消息到一个Broker SendResult sendResult = producer.send(msg); // 通过sendResult返回消息是否成功送达 System.out.printf("%s%n", sendResult); } // 如果不再发送消息，关闭Producer实例。 producer.shutdown(); } } import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.common.message.MessageExt; import java.util.List; // 消费者代码示例 public class ConsumerExample { public static void main(String[] args) throws InterruptedException, MQClientException { // 实例化消费者 DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name"); // 指定NameServer地址 consumer.setNamesrvAddr("localhost:9876"); // 订阅一个或者多个Topic，以及Tag来过滤需要消费的消息 consumer.subscribe("TopicTest", "*"); // 注册回调实现类来处理从broker拉取回来的消息 consumer.registerMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) { System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msgs); // 标记该消息已经被成功消费 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); // 启动消费者实例 consumer.start(); System.out.printf("Consumer Started.%n"); } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值