Kafka的存储模型

最新推荐文章于 2025-08-02 00:11:04 发布
转载 最新推荐文章于 2025-08-02 00:11:04 发布 · 726 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.jianshu.com/p/3e54a5a39683这篇讲的很详细 易懂

有部分内容转自https://www.jianshu.com/p/3e54a5a39683这篇讲的很详细 易懂

Kafka一个Topic可以有多个Partition,多个线程，每个线程负责一个Partition进行读写

每个Paratition可以有多个LogSegment，每个LogSegment文件包括一个日志数据文件和两个索引文件（偏移量索引文件和消息时间戳索引文件）。

以上红字部分就是他的存储模型

其中，每个LogSegment中的日志数据文件大小均相等（该日志数据文件的大小可以通过在Kafka Broker的config/server.properties配置文件的中的“log.segment.bytes”进行设置，默认为1G大小（1073741824字节），在顺序写入消息时如果超出该设定的阈值，将会创建一组新的日志数据和索引文件

Kafka的索引文件是采用稀疏索引的方式，每隔一定的字节数建立了一条索引

所以在添加数据时，如果还没有LogSegment,就会建第一个LogSegment，然后把数据顺序写在该LogSegment的日志数据文件里，然后再把索引加到偏移量索引文件里去

偏移量索引文件的每条索引由offset和position组成，每个索引条目可以唯一确定在各个分区数据文件的一条消息

在查找数据时

先根据Position定位到LogSegment，再根据Position和offset在logSegment找到日志数据文件中对应数据的位置

原理就是这样

Kafka 的消息存储模型详细数据结构与存储结构
AI架构师小马
05-27 827
在分布式消息系统中，消息的存储模型和存储结构是保证系统高性能和高可靠性的关键因素。Kafka 作为一种高吞吐量、低延迟的分布式消息系统，其消息存储模型和存储结构设计得非常精妙。本文将详细探讨 Kafka 的消息存储模型，深入解析 Kafka 的数据结构与存储结构，帮助读者更好地理解和使用 Kafka。Kafka 作为一种高性能的分布式消息系统，其消息存储模型和存储结构在实际应用中发挥了重要作用。然而，随着数据量的持续增长和应用场景的不断扩展，Kafka 的消息存储模型和存储结构也面临一些挑战和未来发展趋势。
Kafka之存储设计
m0_51390969的博客
07-22 1807
消费者读取的数据都是已经被确认的可靠数据，避免处理未确认数据带来的复杂性和错误。Kafka的压缩过程是定期进行的，时间间隔和触发条件可以通过配置参数来调整。水位线（HW）是 Kafka 中每个分区的一个偏移量，它表示已经被所有同步副本（leader 和 follower）确认并复制的最高偏移量。Kafka 日志文件中的内容并不是简单的按行排列的消息，而是采用了批处理（batch）的方式来存储消息。数据可靠性：HW 确保了在系统发生故障时，数据不会丢失，并且消费者读取到的数据是可靠的。
【Kafka】 存储机制
qq_43745578的博客
02-01 1788
Kafka存储机制：存储结构和清除压缩机制
Kafka的Log存储解析
weixin_33806509的博客
09-29 175
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据开发之Kafka 存储选型
m0_58371965的博客
12-07 369
1. Kafka 的存储难点是什么？ 为什么说存储设计是 Kafka 的精华所在？之前这篇文章做过分析，Kafka 通过简化消息模型，将自己退化成了一个海量消息的存储系统。 既然 Kafka 在其他功能特性上做了减法，大数据培训必然会在存储上下功夫，做到其他 MQ 无法企及的性能表现。 图1：Kafka 的消息模型 但是在讲解 Kafka 的存储方案之前，我们有必要去尝试分析下：为什么 Kafka 会采用 Logging（日志文件）的存储方式？它的选型依据到底是什么？ 这也是本系列希望做到的.
Kafka消息模型与工作原理详解
giser@2011的博客
04-21 1550
Kafka作为一个强大的分布式流处理平台，在大数据领域中发挥着重要的作用。它的高吞吐量、可扩展性、持久性等特点，使其能够满足各种复杂的应用场景需求。无论是日志收集、流式处理，还是消息系统和事件驱动架构，Kafka都能提供高效、可靠的解决方案。随着大数据技术的不断发展，Kafka的应用前景也将更加广阔。如果你还没有尝试过Kafka，不妨在自己的项目中使用一下，相信它会给你带来意想不到的惊喜。
kafka网络模型
Meiko记录
07-09 1321
Kafka基于高吞吐率和效率考虑，并没有使用第三方网络框架，而且自己基于java nio封装的，总体网络模型如下： Broker的内部处理流水线化，分为多个阶段来进行(SEDA)，以提高吞吐量和性能，尽量避免Thead盲等待，以下为过程说明。 Accept Thread负责与客户端建立连接链路，然后把Socket轮转交给Process Thread Process Thread负责接收请求和响应数据，Process Thread每次基于Selector事件循环，首先从Response Queue读.
Kafka 物理存储机制
热门推荐
程序猿进阶
10-30 1万+
一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。Kafka的基本存储单位是分区。在配置Kafka的时候，管理员指定了一个用于存储分区的目录清单log.dirs参数的值。
【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？
weixin_40736233的博客
06-15 1442
Kafka的网络线程模型是基于Java NIO（非阻塞I/O）实现的，它采用Reactor多线程模型，以支持高效、可扩展的网络通信。该模型主要由三部分组成：Acceptor线程、Processor线程和RequestHandler线程（也称为KafkaRequestHandler或Worker线程）。Kafka的网络线程模型是Kafka高性能、高可靠性和可扩展性的关键之一。通过深入理解Kafka网络线程模型的工作原理和设计思想，可以更好地使用Kafka来处理大数据流，并优化系统的性能和可靠性。
Kafka 消息存储模型详解
csdn_tom_168的博客
08-02 794
摘要： Kafka的高性能源于两大核心技术：顺序写盘和零拷贝。通过顺序追加日志避免磁盘随机I/O，结合操作系统的页缓存和文件分段设计，实现接近内存的写入速度（600+MB/s）。消费时采用零拷贝（sendfile），数据直接从内核缓存传输到网卡，跳过CPU拷贝，降低延迟。配合批处理、压缩和稀疏索引，Kafka以普通磁盘支撑百万级TPS，成为大数据场景的首选消息系统，其核心思想是最大化利用磁盘顺序I/O与操作系统特性，而非依赖昂贵硬件。
Kafka高性能设计之存储设计
959
02-13 1088
Kafka使用的是Logging（日志文件）这种很原始的方式来存储消息 对于存储设计有一些知识点: Append Only、Linear Scans、磁盘顺序写、页缓存、零拷贝、稀疏索引、二分查找等等。 Append Only Data Structures 的一些存储系统比如HBase, Cassandra, RocksDB 文章目录1.Kafka存储难度2.Kafka 的存储选型分析2.1 存储领域的基础知识2.2 Kafka 的存储选型考虑3.Kafka 的存储设计 1.Kafka存储难度 Kafka
Kafka offset管理及存储模型
qqxhb 资源共享
08-14 1059
Kafka中的每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序号，用于partition唯一标识一条消息。 Offset记录着下一条将要发送给Consumer的消息的序号。 Offset从语义上来看拥有两种：Current Offset和Committed Offset。 Current Offset Current Offset保存在Consumer客户端中，它表示Consumer希望收到的下一条消息的序号
kafka的消息存储和生产消费模型
Aying_seeyou的博客
03-29 507
kafka的消息存储和生产消费模型 • 一个topic分成多个partition • 每个partition内部消息强有序，其中的每个消息都有一个序号叫offset • 一个partition只对应一个broker，一个broker可以管多个partition • 消息直接写入文件,并不是存储在内存中 • 根据时间策略(默认一周)删除，而不是消费完就删除 • producer自己决定往哪个part...
Kafka存储结构和原理
致力于不留技术债务cuizb.top
02-27 1861
文章目录1. kafka存储结构1.1 topic1.2 partition1.3 segment1.4 message结构1.5 查找 message过程2 Kafka存储原理2.1 顺序写2.2 零拷贝2.3 缓存机制3 Kafka维护消费偏移3.1 消费偏移的更新方式3.1.1 自动提交（默认方式）3.1.2 手动提交4 日志的清除策略以及压缩策略4.1 日志删除4.2 日志压缩策略 1. kafka存储结构 kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset .
kafka的基本模型
一些学习笔记而已
06-16 410
Java中消息产生，发送到MQ软件中，发送消息的被称为Producer(消息提供者)，接收消息的被称为Consumer(消息消费者)，MQ软件中一般用队列处理消息，消息一般包含消息头、消息属性、消息主题内容。
搞透Kafka的存储架构，看这篇就够了
qwer123451234123的博客
04-27 676
从这篇文章开始，我将对Kafka 专项知识进行深度剖析，今天我就来聊聊 kafka 的存储系统架构设计， 说到存储系统，大家可能对 MySQL 比较熟悉，也知道 MySQL 是基于 B+ tree 来作为它的索引数据结构。 Kafka 又是基于什么机制来存储？为什么要设计成这样？它解决了什么问题？又是如何解决的？里面又用到了哪些高大上的技术？ 带着这些疑问，我们就来和你聊一聊 Kafka 存储架构设计背后的深度思考和实现原理。 ...
kafka系列2---kafka数据存储原理
yu766588220的专栏
01-03 698
1、kafka高性能文件读写设计原理 kafka中的数据是以日志的形式进行存储，所以分区实际上就是日志。 1.1磁盘读写并不慢 磁盘线性读写的速度比随机读写的速度快6000倍。现代操作系统提供了 read-ahead 和 write-behind 技术，read-ahead 是以大的 data block 为单位预先读取数据，而 write-behind 是将多个小型的逻辑写合并成一...
分析Kafka Producer 消息缓存模型，用六张图让你完全了解
程序源日志的博客
12-01 515
kafka为了提高Producer客户端的发送吞吐量和提高性能,选择了将消息暂时缓存起来,等到满足一定的条件, 再进行批量发送, 这样可以减少网络请求,提高吞吐量。而缓存这个消息的就是Record Accumulator类.上图就是整个消息存放的缓存模型,我们接下来一个个来讲解。
Kafka 是怎么存储的？为什么速度那么快？
码农架构
02-24 1524
文章收录地址：Java-Bang 专注于系统架构、高可用、高性能、高并发类技术分享 Kafka 依赖于文件系统（更底层地来说就是磁盘）来存储和缓存消息。在我们的印象中，对于各个存储介质的速度认知大体同下图所示的相同，层级越高代表速度越快。很显然，磁盘处于一个比较尴尬的位置，这不禁让我们怀疑 Kafka 采用这种持久化形式能否提供有竞争力的性能。在传统的消息中间件 RabbitMQ 中，就使用内存作为默认的存储介质，而磁盘作为备选介质，以此实现高吞吐和低延迟的特性。然而，事实上磁盘可以比我们预想的要快.
kafka位移模型
最新发布
09-10
<think> 我们正在讨论Kafka的位移模型。Kafka的位移（offset）是消费者在分区中消费位置的关键概念。位移模型主要涉及消费者如何管理其消费进度。 需要涵盖以下内容： 1. 位移的存储位置（如__consumer_offsets主题） 2. 位移提交方式（自动提交和手动提交） 3. 位移管理策略（如自动位移重置策略：earliest, latest） 4. 消费者组（Consumer Group）与位移的关系 5. 可能涉及精确一次语义（Exactly-once）中的位移管理 然后根据回答提出3-5个相关问题。 </think> ### Kafka位移模型深度解析 Kafka的位移模型是消息消费位置管理的核心机制，包含以下关键设计： --- #### 1. **位移的本质定义** - **分区级位移**：每个分区独立维护消费位置（Partition Offset） - **位移三元组**：`<消费者组, 主题, 分区> → 位移值` - **位移值特性**： - 单调递增的64位整数 - 仅表示消费顺序（不包含时间戳） #### 2. **位移存储机制** | 存储方式 | 工作原理 | 特点 | |-------------------|--------------------------------------|--------------------------| | __consumer_offsets | 内置compacted主题存储位移 | 高持久化/支持故障恢复 | | 外部存储 | 可配置到DB/Redis（需自定义协调器） | 灵活但增加复杂度 | | 内存存储 | 测试环境临时使用 | 重启后位移丢失 | #### 3. **位移提交策略对比** ```mermaid graph LR A[自动提交] -->|enable.auto.commit=true| B[定时异步提交] C[手动提交] --> D[同步提交] C --> E[异步提交] D --> F[阻塞直至Broker确认] E --> G[无阻塞但可能重复消费] ``` - **自动提交风险**：可能提交未完成处理的位移（导致消息丢失） - **手动提交最佳实践**： ```java while (true) { ConsumerRecords<String, String> records = consumer.poll(100); for (ConsumerRecord record : records) { process(record); // 业务处理 } consumer.commitSync(); // 同步提交确保原子性 } ``` #### 4. **位移重置策略** | 策略 | 触发条件 | 典型场景 | |--------------|---------------------------|--------------------------| | earliest | 无位移或位移过期 | 全量数据回溯 | | latest | 无位移或位移过期 | 仅消费新数据 | | none | 无有效位移 | 抛出NoOffsetException | | timestamp | 指定时间戳 | 精准时间点回溯 | #### 5. **位移管理高级特性** - **事务位移提交**： - 与业务操作绑定原子提交（实现Exactly-Once语义） - 依赖事务协调器（Transaction Coordinator） - **增量位移提交**： - 允许提交特定分区位移（`commitSync(Map<TopicPartition, OffsetAndMetadata>)`） - **位移查询API**： - `endOffsets()`获取分区末端位移 - `position()`获取当前消费位置 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值