Kafka的数据存储

目录

一、基本概念

二、存储位置及格式

1、存储位置

2、分区与存储方式的关系

三、操作演示

1、创建一个主题

2、查看数据目录中的效果

3、向此主题写入大批量数据

4、查看segment file

(1)查看log文件

(2)查看index文件

(3)查看timeindex文件

四、数据存储原理分析

1、说明

2、数据文件建立索引原理

3、数据消费查询原理

4、segment file中索引文件与数据文件的对应关系

5、Kafka高效文件存储设计特点

---

一、基本概念

1、Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群；

2、Topic：一类消息，Kafka集群能够同时负责多个topic的分发；

3、Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队；

4、Segment：每个partition又由多个segment file组成；

5、offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset，用于partition唯一标识一条消息；

6、message：这个算是kafka文件中最小的存储单位，即是 a commit log。

二、存储位置及格式

1、存