apache Kafka是如何实现删除数据文件(日志)的

关注

原创最新推荐文章于 2026-07-03 10:32:43 发布 468 阅读 AI 写同款· GEO 优化 ›

Apache Kafka 是什么? Apache Kafka是一个开源的分布式事件流平台，具有高吞吐、持久化、可扩展等特点。其核心概念包括主题、分区、副本等，架构围绕生产、存储、消费三个环节设计，支持高吞吐、低延迟的消息处理。Kafka广泛应用于日志聚合、流处理、消息系统等场景，相比其他消息队列具有更高的性能和持久化能力。生态组件包括Kafka Connect、Kafka Streams等，提供丰富的功能扩展。通过命令行工具可快速操作主题、生产者和消费者。Kafka已成为大数据和实时计算领域的核心基础设施。阅读详情

afka删除数据有两种方式，一种是按照时间，超过一段时间后删除过期消息，第二种是按照消息大小删除数据的，消息数量超过一定大小后删除最旧的数据

但是Kafka的数据是存储在文件系统内的，随机删除数据是不可能的，那么，Kafka是如何删除数据的呢？

Kafka删除数据主逻辑

对应配置: log.cleanup.interval.mins

当前使用值：1

file: core/src/main/scala/kafka/log/LogManager.scala

line: 271

/**

* Delete any eligible logs. Return the number of segments deleted.

def cleanupLogs() {

debug("Beginning log cleanup...")

var total = 0

val startMs = time.milliseconds

for(log <- allLogs) {

debug("Garbage collecting '" + log.name + "'")

total += cleanupExpiredSegments(log) + cleanupSegmentsToMaintainSize(log)

}

debug("Log cleanup completed. " + total + " files deleted in " +

(time.milliseconds - startMs) / 1000 + " seconds")

}

Kafka 每隔 log.cleanup.interval.mins 分钟调用一次 cleanupLogs ，该函数对所有 Logs 执行清理操作，(目前不确定 Logs 对应的是 Topic 还是 Partition，目测应当是 Partition)

cleanupExpiredSegments 负责清理超时的数据
cleanupSegmentsToMaintainSize 负责清理超过大小的数据

清理超时数据 (必选策略)

对应配置：log.retention.hours

当前使用值： 72 （3天）

file: core/src/main/scala/kafka/log/LogManager.scala

line: 237

/**

* Runs through the log removing segments older than a certain age

private def cleanupExpiredSegments(log: Log): Int = {

val startMs = time.milliseconds

val topic = parseTopicPartitionName(log.name).topic

val logCleanupThresholdMs = logRetentionMsMap.get(topic).getOrElse(this.logCleanupDefaultAgeMs)

val toBeDeleted = log.markDeletedWhile(startMs - _.messageSet.file.lastModified > logCleanupThresholdMs)

val total = log.deleteSegments(toBeDeleted)

total

}

该函数首先获取 topic，根据 topic 获取日志超时时间，该超时时间可以使用配置 log.retention.hours.per.topic 单独指定，如果没有单独指定，则使用统一的 log.retention.hours 配置。
然后扫描所有该日志对应的 Segment 文件，对所有最近修改时间与当前时间差距大于超时时间的日志的 Segment 文件，标记为删除
最后删除标记为删除的 Segment 文件

清理超大小数据 (可选策略)

对应配置：log.retention.bytes

当前使用值： -1 (默认值，即不采用该策略)

file: core/src/main/scala/kafka/log/LogManager.scala

line: 250

/**

* Runs through the log removing segments until the size of the log

* is at least logRetentionSize bytes in size

private def cleanupSegmentsToMaintainSize(log: Log): Int = {

val topic = parseTopicPartitionName(log.dir.getName).topic

val maxLogRetentionSize = logRetentionSizeMap.get(topic).getOrElse(config.logRetentionBytes)

if(maxLogRetentionSize < 0 || log.size < maxLogRetentionSize) return 0