kafka topic config 参数

最新推荐文章于 2025-07-26 11:32:19 发布
最新推荐文章于 2025-07-26 11:32:19 发布
阅读量4k 收藏 11
点赞数 2
CC 4.0 BY-SA版权
分类专栏： linux kafka 大数据 文章标签： kafka topic linux config
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35689573/article/details/86702611
本文详细介绍了Kafka Topic的各种配置参数，包括cleanup.policy、compression.type、delete.retention.ms等，并提供了配置示例，帮助理解如何调整这些参数以优化Kafka Topic的性能和数据保留策略。

kafka版本：http://mirrors.hust.edu.cn/apache/kafka/2.1.0/kafka_2.12-2.1.0.tgz

1、cleanup.policy：过期或达到日志上限的清理策略（delete-删除；compact-压缩）默认值为delete

./kafka-topic --alter --zookeeper 192.168.153.128:2181 --topic test_topic --config cleanup.policy=delete

2、compression.type：指定给该topic最终的压缩类型（uncompressed；snappy；lz4；gzip；producer）默认值为producer

3、delete.retention.ms：压缩日志保留的最长时间，也是消费端消息的最长时间。单位为毫秒（默认值：86400000）

4、file.delete.delay.ms：从文件系统中删除前所等待的时间（默认值：

最低0.47元/天 解锁文章

200万优质内容无限畅学
kafka中topic默认属性_kafka参数解析+启动参数解析
weixin_40009026的博客
12-20 898
Kafka参数详解每个kafka broker中配置文件server.properties默认必须配置的属性如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.request.max.bytes=104...
kafka源码解析之十四TopicConfigManager
wl044090432的博客
04-11 1465
当Kakfka的topic创建之后，需要中途修改该topic的属性的时候，可以通过在/brokers/config_changes上传配置信息，触发TopicConfigManager内部的监听函数来更改topic的属性。 class TopicConfigManager(private val zkClient: ZkClient, priva
kafka中文文档topic配置参数
05-05
NULL 博文链接：https://bewithme.iteye.com/blog/2395202
Kafka的Topic配置详解
大JAVA解决方案
11-06 6151
一、Kafka中topic级别配置 配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate. (A)创建topic时配置参数 bin/kafka-topics.sh --zookeeper 192.168.2.225:2183/c...
RocketMQ Topic控制台配置详解
最新发布
m0_37613591的博客
07-26 887
RocketMQ Topic配置详解：本文深入解析RocketMQ中Topic的核心配置参数，包括写队列数量(writeQueueNums)、读队列数量(readQueueNums)、权限控制(perm)等关键选项。详细说明了队列数量对并发能力的影响、读写队列的扩缩容操作、权限控制的组合应用场景，以及高级配置如消息过滤类型(topicFilterType)等。通过具体命令示例和性能对比表，帮助用户根据业务场景(低频消息、高频交易、日志收集等)做出最优配置选择，并提供了队列数量调整、权限管理等最佳实践方案。
kafka TopicConfigManager类
08-27 174
plog（每个topic每个partition对应一个log）配置 /** * 注册config change的listener * Begin watching for config changes */ def startup() { ZkUtils.makeSurePersistentPathExists(zkClient, ZkUtils.TopicConfigChangesPath) //监听/config/changes的子节点,Confi
5-Kafka 集群配置-Topic 参数配置
weixin_42331985的博客
07-07 1324
Kafka Topic 参数配置
Kafka topic消息清理几种方式
jiayu的博客
06-26 8197
执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manage集群管理工具删除。参考链接：https://cloud.tencent.com/developer/article/1590094。，只需要修改server.properties配置文件的delete.topic.enable为true就可以了。kafka启动之前，在server.properties配置。
【Kafka】KafkaTopic命令-03
Blue_Pepsi_Cola的博客
04-21 1289
【代码】【Kafka】KafkaTopic命令。
kafka-topic-exporter:消费Kafka主题并导出到Prometheus
05-26
java -jar kafka-topic-exporter-0.0.6-jar-with-dependencies.jar config/kafka-topic-exporter.properties 配置 启动过程时，必须将配置文件作为参数传递。 ## Kafka Exporter Properties # ...
Kafka中的Topic
日常分享数据分析开发、编程语言内容
12-05 9108
在Kafka中，Topic是消息的逻辑通道，生产者将消息发布到Topic，而消费者从Topic订阅消息。每个Topic可以有多个分区（Partitions），每个分区可以在不同的服务器上，以实现横向扩展。Kafka的Topic是构建实时流数据处理系统的核心组件之一。通过深入了解Topic的创建、配置、生产者和消费者，以及实际应用中的示例代码，可以更好地理解和应用Kafka。在实际项目中，根据具体需求和场景进行灵活配置，以确保系统的可靠性、性能和安全性。
kafka topic配置(超详细的核心配置项说明)
巨魔战将
10-21 8123
topic核心配置 num.partitions 分区数量 设置策略 评估单分区吞吐量，考虑总的吞吐量 考虑消费者个数 可用的空间和贷款 分区大小限制 log.retention.ms topic数据保留时长 默认通过log.retention.hours配置时间，默认值为168小时，也就是7天 等同 log.retentions.hours log.reten...
metaq配置相关之二 : SlaveConfig 和 TopicConfig 类
kiram_wjh的博客
02-21 461
metaq 配置的另外两个主要类 分别为 SlaveConfig 和 TopicConfig
Kafka主题(Topic)的管理
通往神秘的道路的专栏
11-10 7357
主题的管理包括创建主题、 查看主题信息、修改主题和删除主题等操作。可以通过 Kafka 提供的 kafka-topics.sh 脚本来执行这些操作，这个脚本位于 $KAFKA_HOME/bin/目录下，其核 心代码仅 有一行，具体如下 : exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@" 可以看到其实质上是...
kafka最好用的脚本三：kafka-config
weixin_34194087的博客
12-09 2223
kafka-config 使用手册 官方说明 Add/Remove entity config for a topic, client, user or broker. Option Description ------ ----------- --add-config <String> K...
kafka的conf配置文件创建topic_LiteOS云端对接教程04-华为OC平台创建MQTT产品使用mqtt.fx测试...
weixin_36469726的博客
01-28 293
1. 云端准备工作 —— 注册并登录OC平台注册并登录华为OceanConnect平台，需要使用华为云账号登录。进入后界面如下：2. 云端操作 — 创建云端设备2.1. 创建项目点击创建项目：填写信息之后提交：创建之后，系统会弹出分配的应用ID和秘钥，应点击下载，及时保存：打开下载的文件，可以看到其中存放的ID和秘钥信息：接下来点击进入项目，进入之后界面如下：2.2. 创建产品选择创建自定义产品：...
4.2.4 Kafka 主题, shell管理(创建, 查看, 修改, 删除), 增加分区, 副本分配, 必要参数, 客户端应用(创建,删除, 修改, 查看), shell偏移量管理
chengh1993的博客
01-27 493
4.2.4 Kafka 高级特性-主题
kafka中的@KafkaListener如何动态获得topic
程序员子龙
05-30 3092
spring boot 在集成kafka 消费端使用@KafkaListener时候要指定topic，在实际应用时候，可能需要通过配置来指定topic。 首先写一个KafkaTopicConfig类 @Configuration public class KafkaTopicConfig implements InitializingBean { @Value("${kafka.topic}") private String topic; @Override public v
Kafka topic
05-29
### Kafka Topic 在数据库逻辑复制链路中的作用与配置方法 #### 1. Kafka Topic 的作用 Kafka Topic 是 Kafka 中的数据流单元，用于存储从源端数据库捕获的变更数据，并将其传递到目标端数据库。在数据库逻辑复制链路中，Kafka Topic 起到了以下关键作用： - **数据缓冲**：Kafka Topic 提供了高吞吐量和低延迟的数据缓冲能力，能够有效地应对生产者和消费者之间的速率差异[^2]。 - **解耦生产者与消费者**：通过 Kafka Topic，源端数据库（生产者）和目标端数据库（消费者）可以独立运行，无需直接交互[^3]。 - **数据持久化**：Kafka Topic 可以将数据持久化到磁盘，确保即使在系统故障的情况下也能恢复数据[^4]。 #### 2. Kafka Topic 的配置方式 在数据库逻辑复制链路中，Kafka Topic 的配置需要根据具体需求进行优化，以下是一些关键配置参数及其作用： - **`partitions`**：定义 Topic 的分区数。分区数决定了并行度，通常建议设置为与消费者实例数相匹配，以实现负载均衡[^5]。 - **`replication-factor`**：定义 Topic 的副本数。较高的副本数可以提高数据可靠性，但会增加存储开销[^6]。 - **`retention.ms`**：设置消息在 Topic 中的保留时间。对于逻辑复制场景，可以根据目标端数据库的消费速度调整此参数[^7]。 - **`cleanup.policy`**：指定 Topic 的清理策略，常见的值为 `delete`（删除过期消息）或 `compact`（对消息进行压缩去重）[^8]。 以下是一个典型的 Kafka Topic 配置示例： ```bash kafka-topics.sh --create \ --zookeeper localhost:2181 \ --replication-factor 3 \ --partitions 6 \ --topic database-replication-topic \ --config retention.ms=86400000 \ --config cleanup.policy=compact ``` 上述命令创建了一个名为 `database-replication-topic` 的 Topic，具有以下特性： - 3 个副本以提高可靠性[^6]。 - 6 个分区以支持高并发[^5]。 - 消息保留时间为 1 天（86,400,000 毫秒）[^7]。 - 使用 `compact` 清理策略以减少存储开销[^8]。 #### 3. 数据流动过程中的 Kafka Topic 在数据库逻辑复制链路中，Kafka Topic 是数据流动的核心环节。以下是数据流动的典型过程： - **Source Connector 写入**：Source Connector 从源端数据库中捕获变更日志（如 DML、DDL 操作），并将这些变更以结构化格式写入 Kafka Topic[^9]。 - **数据处理**：在 Kafka 中间层，可以通过 Single Message Transform (SMT) 或 Kafka Streams 对消息进行转换、过滤或增强操作[^10]。 - **Sink Connector 读取**：Sink Connector 从 Kafka Topic 中读取消息，并将其写入目标端数据库，完成逻辑复制过程[^11]。 #### 4. 示例代码 以下是一个完整的配置示例，展示了如何通过 Kafka Topic 实现数据库逻辑复制链路： - **Source Connector 配置** ```properties name=mysql-source-connector connector.class=io.debezium.connector.mysql.MySqlConnector tasks.max=1 database.hostname=localhost database.port=3306 database.user=root database.password=password database.server.id=18405 database.whitelist=my_database table.whitelist=my_table kafka.topic=database-replication-topic ``` - **Sink Connector 配置** ```properties name=postgres-sink-connector connector.class=io.confluent.connect.jdbc.JdbcSinkConnector tasks.max=1 topics=database-replication-topic connection.url=jdbc:postgresql://localhost:5432/my_database connection.user=postgres connection.password=secret auto.create=true insert.mode=upsert pk.fields=id pk.mode=kafka ``` 上述配置中，`database-replication-topic` 是 Kafka Topic 的名称，连接了 Source Connector 和 Sink Connector[^12]。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值