kafka logs storage

Kafka 会将日志文件按段(Segment)存储。
Segment是Kafka的最小存储单元,它是一个可追加的文件,用于存储Kafka分区中的一部分消息。
在文件系统中,Partition 是目录名,而Segment 是文件名。

Segment可以通过下面的配置来控制滚动和清理。

log.segment.bytes=1073741824      # 每个 segment 最大 1GB
log.segment.ms=604800000          # 每 7 天切一个新 segment
log.retention.hours=168           # 168 小时后旧段可被删除
cleanup.policy=delete             # 设置删除策略

请注意,这些log.segment.* 参数是控制 segment 的存在形式的,不是控制message 什么时候被删除的。控制message 被删是 log.retention.* 的参数。

📁 Segment 文件组成

Kafka 会为每个 segment 创建一组文件,位于某个partition的目录下,例如:

bash-4.4$ ls -lh /opt/kafka/data/logs/my-topic-0
total 216K
-rw-r--r-- 1 202390 10000  10M May  8 06:29 00000000000000000000.index
-rw-r--r-- 1 202390 10000 196K May  8 06:30 00000000000000000000.log
-rw-r--r-- 1 202390 10000  10M May  8 06:29 00000000000000000000.timeindex
-rw-r--r-- 1 202390 10000    8 May  8 02:54 leader-epoch-checkpoint
-rw-r--r-- 1 202390 10000   43 May  8 02:54 partition.metadata

文件类型后缀说明
.log主数据文件,存储消息本体(key/value)
.index根据 offset 建立的稀疏索引,便于定位
.timeindex根据时间戳的索引,用于基于时间的查找
.snapshot(事务日志)支持事务性读写
leader-epoch-checkpoint用于记录 leader 任期信息(确保 ISR 一致性)

这些文件中的 00000000000000000000 表示这个 segment 的起始 offset

一个partition 可以有多组segments.


🧱 Kafka 中 segment 的作用

功能说明
分割日志文件防止一个 partition 文件无限增长
支持时间/大小滚动可配置最大时间或大小
清理目标单位Kafka 的数据清理(删除或压缩)以 segment 为单位
快速查找消息每个 segment 有对应的 .index.timeindex 文件
降低内存压力分段可以控制内存索引的加载大小

🔧 Segment 的滚动(roll over)

Kafka 会根据如下条件创建新的 segment:

条件对应配置项
达到最大字节数segment.bytes(默认 1GB)
达到最大时间segment.ms(默认 7 天)
手动 flush/滚动API 控制或管理工具操作

一旦新 segment 被创建,旧的 segment 就变成“sealed”,不能再写入,只能读取、压缩或删除。


🗑️ Segment 与数据清理策略

Kafka 的两种主要数据清理策略都以 segment 为操作单位:

清理策略说明
deleteKafka 会定期删除超过保留时间/大小的旧 segment。
compactKafka 会对旧 segment 进行压缩,保留每个 key 的最新 value。

⚠️ 当前写入的 segment(active segment)不会被清理或压缩,只有旧的 segment 会成为目标。


🧠 示例图解(假设 segment 每 100 条消息切换)

Partition: my-topic-0
 ┌────────────┬────────────┬────────────┬────────────┐
 │ Segment A  │ Segment B  │ Segment C  │  Active    │
 │ (offset 0) │ (100)      │ (200)      │ (300~now)  │
 └────────────┴────────────┴────────────┴────────────┘
  • Segment A/B/Csealed,可被清理。
  • 最后一个 segment 是 active segment,不断追加写入,不会被清理。

✅ 总结:Segment 是 Kafka 存储的基本块

特性说明
顺序追加高效写入磁盘
可被删除或压缩支持灵活的数据生命周期管理
可快速索引查找借助 .index.timeindex 实现高效定位
有助于持久性和故障恢复数据持久化到磁盘,可随时恢复

Reference

kafka 日志文件segment

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值