Kafka 之 Topic 配置

最新推荐文章于 2025-11-26 06:15:00 发布

原创最新推荐文章于 2025-11-26 06:15:00 发布 · 1.4k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #topic #topic配置参数 #kafka-topics.sh #kafka-configs #kafka命令工具

Kafka 专栏收录该内容

56 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Kafka中Topic的概念和作用，强调了Topic的多生产者和多订阅者特性，以及Partition作为存储单元的角色。文章详细讲解了如何通过命令工具设置Topic配置，包括创建和修改Topic时的参数设置，并列举了一些关键的Topic配置参数，如消息保留时间和副本数。此外，还提及了Kafka 2.0版本之后新增的配置选项。

三. Kafka > 2.0 版本新增的配置

一. 前言

Topic 就是数据主题，一个逻辑概念，可以用来区分业务系统。Kafka 中的 Topic 总是多订阅者模式，一个 Topic 可以拥有一个或者多个消费者来订阅它的数据。Topic 下的数据会被进一步分配到分区（Partition）中，Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。每个 Partition 都是一个单独的 log 文件，每条记录（消息）都以追加的形式写入。

事件被组织并持久地存储在 Topic 中，Topic 类似于文件系统中的文件夹，事件就是该文件夹中的文件。Kafka 中的 Topic 始终是多生产者和多订阅者：一个 Topic 可以有零个、一个或多个生产者向其写入事件，也可以有零个、一个或多个消费者订阅这些事件。Topic 中的事件可以根据需要随时读取，与传统的消息中间件不同，事件在使用后不会被删除，相反，可以通过配置来定义Kafka 中每个 Topic 应该保留事件的时间，超过该事件后旧事件将被丢弃。Kafka 的性能在数据大小方面实际上是恒定的，因此长时间存储数据是非常好的。

Topic 可以有许多配置项，如消息保留时间，副本数等，这些配置既可以在 Broker 端配置，也可以在创建 Topic 时设置，并可以修改。同时，Topic 的设置会覆盖 Broker 中的设置。本文就详细介绍下 Topic 下的各个配置参数。