本文介绍了Kafka中两种日志留存策略：基于文件时间和基于文件大小。详细解释了每种策略的配置参数及作用机制，包括日志文件的检查与删除流程。
说明：
- 所用的Kafka版本为：
kafka_2.12-1.1.0； - 本文中所谈及的“日志”是指Kafka的数据缓存；
- 本文中所有的配置项，均位于
kafka_2.12-1.1.0/config/server.properties文件中； - 为描述方便，假设：
log.dirs=/data/kafka-logs，即日志文件保存在/data/kafka-logs路径下；有一个topic名称为test001，partition为3。
1.Kafka日志留存类型
目前，Kafka的日志留存类型有2种：
- delete
- compact
本文只涉及delete机制。
2. Kafka日志留存机制
目前，Kafka的日志留存机制一共有3种：
- 基于空间维度
- 基于时间维度
- 基于起始位移维度
本文只涉及前2种机制。
3.基于文件时间的日志留存策略
可配置的参数如下：
- 数据留存时间（7天）：
log.retention.hours=168 - 检查间隔时间（5分钟）：
log.retention.check.interval.ms=300000 - 每个日志文件大小（1GB）：
log.segment.bytes=1073741824 - 执行实际删除操作的间隔时间（
最低0.47元/天 解锁文章
扫一扫
1164
到【灌水乐园】发言
