kafka动态配置详解

已于 2025-07-23 15:13:47 修改
阅读量469 收藏 17
点赞数 16
CC 4.0 BY-SA版权
分类专栏： # Kafka运维实战 文章标签： kafka linq 分布式
于 2025-07-23 15:05:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cui_win/article/details/149568006

目录


kafka-configs.sh 是 Kafka 提供的一个命令行工具，用于管理 Kafka broker、主题 (topic)、消费者组 (consumer group) 等资源的配置。

Broker配置

Broker静态配置

通常情况下，我们会指定config路径下的server.properties 文件的来启动 Broker。
如果要设置 Broker 端的任何参数，我们必须在这个文件中显式地增加一行对应的配置，之后启动 Broker 进程，令参数生效。我们常见的做法是，一次性设置好所有参数之后，再启动 Broker。当后面需要变更任何参数时，我们必须重启 Broker。
在真正的生产环境中，随意重启Broker是不被允许的。所以需要有动态调整Broker参数的方法。

Broker动态配置

参考kafka配置说明，Dynamic Update Mode 列。该列有 3 类值，分别是 read-only、per-broker 和 cluster-wide。

  • read-only。被标记为 read-only 的参数和原来的参数行为一样，只有重启 Broker，才能令修改生效。
  • per-broker。被标记为 per-broker 的参数属于动态参数，修改它之后，只会在对应的 Broker 上生效。
  • cluster-wide。被标记为 cluster-wide 的参数也属于动态参数，修改它之后，会在整个集群范围内生效，也就是说，对所有 Broker 都生效。你也可以为具体的 Broker 修改 cluster-wide 参数。

原文地址

Broker动态配置列表

来自于./bin/kafka-configs.sh --help

                                      For entity-type 'brokers':             
                                       	advertised.listeners                  
                                       	background.threads                    
                                       	compression.type                      
                                       	follower.replication.throttled.rate   
                                       	leader.replication.throttled.rate     
                                       	listener.security.protocol.map        
                                       	listeners                             
                                       	log.cleaner.backoff.ms                
                                       	log.cleaner.dedupe.buffer.size        
                                       	log.cleaner.delete.retention.ms       
                                       	log.cleaner.io.buffer.load.factor     
                                       	log.cleaner.io.buffer.size            
                                       	log.cleaner.io.max.bytes.per.second   
                                       	log.cleaner.max.compaction.lag.ms     
                                       	log.cleaner.min.cleanable.ratio       
                                       	log.cleaner.min.compaction.lag.ms     
                                       	log.cleaner.threads                   
                                       	log.cleanup.policy                    
                                       	log.flush.interval.messages           
                                       	log.flush.interval.ms                 
                                       	log.index.interval.bytes              
                                       	log.index.size.max.bytes              
                                       	log.local.retention.bytes             
                                       	log.local.retention.ms                
                                       	log.message.downconversion.enable     
                                       	log.message.timestamp.after.max.ms    
                                       	log.message.timestamp.before.max.ms   
                                       	log.message.timestamp.difference.max.ms                                   
                                       	log.message.timestamp.type            
                                       	log.preallocate                       
                                       	log.retention.bytes                   
                                       	log.retention.ms                      
                                       	log.roll.jitter.ms                    
                                       	log.roll.ms                           
                                       	log.segment.bytes                     
                                       	log.segment.delete.delay.ms           
                                       	max.connection.creation.rate          
                                       	max.connections                       
                                       	max.connections.per.ip                
                                       	max.connections.per.ip.overrides      
                                       	message.max.bytes                     
                                       	metric.reporters                      
                                       	min.insync.replicas                   
                                       	num.io.threads                        
                                       	num.network.threads                   
                                       	num.recovery.threads.per.data.dir     
                                       	num.replica.fetchers                  
                                       	principal.builder.class               
                                       	producer.id.expiration.ms             
                                       	remote.log.index.file.cache.total.    
                                         size.bytes                           
                                       	replica.alter.log.dirs.io.max.bytes.  
                                         per.second                           
                                       	sasl.enabled.mechanisms               
                                       	sasl.jaas.config                      
                                       	sasl.kerberos.kinit.cmd               
                                       	sasl.kerberos.min.time.before.relogin 
                                       	sasl.kerberos.principal.to.local.rules
                                       	sasl.kerberos.service.name            
                                       	sasl.kerberos.ticket.renew.jitter     
                                       	sasl.kerberos.ticket.renew.window.    
                                         factor                               
                                       	sasl.login.refresh.buffer.seconds     
                                       	sasl.login.refresh.min.period.seconds 
                                       	sasl.login.refresh.window.factor      
                                       	sasl.login.refresh.window.jitter      
                                       	sasl.mechanism.inter.broker.protocol  
                                       	ssl.cipher.suites                     
                                       	ssl.client.auth                       
                                       	ssl.enabled.protocols                 
                                       	ssl.endpoint.identification.algorithm 
                                       	ssl.engine.factory.class              
                                       	ssl.key.password                      
                                       	ssl.keymanager.algorithm              
                                       	ssl.keystore.certificate.chain        
                                       	ssl.keystore.key                      
                                       	ssl.keystore.location                 
                                       	ssl.keystore.password                 
                                       	ssl.keystore.type                     
                                       	ssl.protocol                          
                                       	ssl.provider                          
                                       	ssl.secure.random.implementation      
                                       	ssl.trustmanager.algorithm            
                                       	ssl.truststore.certificates           
                                       	ssl.truststore.location               
                                       	ssl.truststore.password               
                                       	ssl.truststore.type                   
                                       	transaction.partition.verification.   
                                         enable                               
                                       	unclean.leader.election.enable

Broker动态配置操作

如果要设置 cluster-wide 范围的动态参数，需要显式指定 entity-default。

cluster-wide 范围值查看
./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092  --entity-type brokers --entity-default   --describe
cluster-wide 范围值 修改
./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092  --entity-type brokers --entity-default --alter --add-config unclean.leader.election.enable=true

在这里插入图片描述
从输出来看，我们成功地在全局层面上设置该参数值为 true。注意 sensitive=false 的字眼，它表明我们要调整的参数不是敏感数据。如果我们调整的是类似于密码这样的参数时，该字段就会为 true，表示这属于敏感数据。

per-broker 范围值 查看
./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092  --entity-type brokers --entity-name 1 --describe

[root@test-10 kafka_2.13-3.7.0]# ./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092 --entity-type brokers --entity-name 1 --describe
Dynamic configs for broker 1 are:

per-broker 范围值 修改
./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092  --entity-type brokers --entity-name 1 --alter --add-config unclean.leader.election.enable=false

在这里插入图片描述
这条命令的输出信息很多。我们关注两点即可。

  • 在 Broker 1 层面上，该参数被设置成了 false，这表明命令运行成功了。
  • 从倒数第二行可以看出，在全局层面上，该参数值依然是 true。这表明，我们之前设置的 cluster-wide 范围参数值依然有效。
per-broker 范围值 删除
./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092  --entity-type brokers  --entity-name 1  --alter --delete-config unclean.leader.election.enable

在这里插入图片描述

cluster-wide 范围值 删除
./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092  --entity-type brokers --entity-default --alter --delete-config unclean.leader.election.enable

在这里插入图片描述

高概率调整配置

  1. log.retention.ms。

修改日志留存时间应该算是一个比较高频的操作，毕竟，我们不可能完美地预估所有业务的消息留存时长。虽然该参数有对应的主题级别参数可以设置，但拥有在全局层面上动态变更的能力，依然是一个很好的功能亮点。

  1. num.io.threads 和 num.network.threads。

这是我们在前面提到的两组线程池。就我个人而言，我觉得这是动态 Broker 参数最实用的场景了。毕竟，在实际生产环境中，Broker 端请求处理能力经常要按需扩容。如果没有动态 Broker 参数，我们是无法做到这一点的。

  1. 与 SSL 相关的参数。

主要是 4 个参数（ssl.keystore.type、ssl.keystore.location、ssl.keystore.password 和 ssl.key.password）。允许动态实时调整它们之后，我们就能创建那些过期时间很短的 SSL 证书。每当我们调整时，Kafka 底层会重新配置 Socket 连接通道并更新 Keystore。新的连接会使用新的 Keystore，阶段性地调整这组参数，有利于增加安全性。

  1. num.replica.fetchers。

这也是我认为的最实用的动态 Broker 参数之一。Follower 副本拉取速度慢，在线上 Kafka 环境中一直是一个老大难的问题。针对这个问题，常见的做法是增加该参数值，确保有充足的线程可以执行 Follower 副本向 Leader 副本的拉取。现在有了动态参数，你不需要再重启 Broker，就能立即在 Follower 端生效，因此我说这是很实用的应用场景。

主题Topic配置

主题Topic动态配置列表

                                         For entity-type 'topics':            
                                       	cleanup.policy                        
                                       	compression.type                      
                                       	delete.retention.ms                   
                                       	file.delete.delay.ms                  
                                       	flush.messages                        
                                       	flush.ms                              
                                       	follower.replication.throttled.       
                                         replicas                             
                                       	index.interval.bytes                  
                                       	leader.replication.throttled.replicas 
                                       	local.retention.bytes                 
                                       	local.retention.ms                    
                                       	max.compaction.lag.ms                 
                                       	max.message.bytes                     
                                       	message.downconversion.enable         
                                       	message.format.version                
                                       	message.timestamp.after.max.ms        
                                       	message.timestamp.before.max.ms       
                                       	message.timestamp.difference.max.ms   
                                       	message.timestamp.type                
                                       	min.cleanable.dirty.ratio             
                                       	min.compaction.lag.ms                 
                                       	min.insync.replicas                   
                                       	preallocate                           
                                       	remote.storage.enable                 
                                       	retention.bytes                       
                                       	retention.ms                          
                                       	segment.bytes                         
                                       	segment.index.bytes                   
                                       	segment.jitter.ms                     
                                       	segment.ms                            
                                       	unclean.leader.election.enable

查看

./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092 --entity-type topics --entity-name test-topic --describe

配置

./bin/kafka-configs.sh --bootstrap-server 192.168.37.10:9092 --entity-type topics --entity-name test-topic --alter --add-config retention.ms=43200000

配置后查看效果：
在这里插入图片描述

动态配置存储

zookeeper模式

zookeeper模式的kafka，动态配置保存在zookeeper中。

kraft 模式

基于kraft模式 的kafka 动态配置在 主题 __cluster_metadata 中存储

可以通过 ./bin/kafka-metadata-shell.sh --snapshot data/__cluster_metadata-0/00000000000000000000.log 命令查看
在这里插入图片描述

Kafka配置参数详解
IT枫斗者的博客
07-22 1739
1024102410241000replica.socket.receive.buffer.bytes：备份时向leader发送网络请求时的socket receive buffer。默认64。
Kafka 动态分区详解
goTsHgo的博客
10-08 1420
Kafka 动态分区的实现依赖于控制器和 ZooKeeper/KRaft 的元数据更新机制。在分区增加的过程中，控制器负责管理分区的扩展，生产者的分区器会根据新的分区数重新计算分区，消费者则需要进行再均衡以处理新的分区。虽然动态分区提供了扩展 Kafka 吞吐量的能力，但它也带来了一些潜在的问题，特别是消息顺序性和消费者再均衡带来的性能影响。因此，在实际使用过程中，需要根据业务场景合理地增加分区，同时评估分区扩展带来的副作用。
kafka配置详解
weixin_44213835的博客
05-18 2436
消息中间件对比消息中间件对比-选择建议kafka介绍Kafka 是一个分布式流媒体平台,类似于消息队列或企业消息传递系统。kafka官网：http://kafka.apache.org/kafka介绍-名词解释。
Kafka配置文件详解
jishuaitao的博客
03-10 1674
Kafka配置文件详解
kafka zookeeper 配置详解
ss810540895的博客
09-08 1960
1.下载2.默认配置文件3.常用配置详解。
Kafka配置参数调优详解
Lcongming的博客
06-17 489
【代码】Kafka配置参数调优详解。
kafka配置参数详解
WangYouJin321的博客
06-02 1886
Broker Configs Property Default Description broker.id 每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为broker的“名字”，并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上。你可以选择任意你喜欢的数字作为id，只要id是唯一的即可。 log.dirs /tmp/kafka-logs kafka存放数据的路径。这个路径并不是唯一的，...
Kafka 安全机制详解及配置指南
热门推荐
私聊前往站内信：https://i.youkuaiyun.com/#/msg/chat/weixin_44976692
09-19 1万+
Kafka 支持多种安全机制，能够满足不同安全需求的场景。Kafka 作为分布式消息流平台，在处理高吞吐量的同时，也提供了多种安全机制来保证数据传输的安全性。本文详细介绍了几种常见的认证和加密方式（PLAINTEXT、SASL_PLAINTEXT、SASL_SSL、JAAS），并解释了如何在 Kafka 中配置这些安全机制。选择合适的认证和加密方式至关重要。在生产环境中，我们推荐使用 SASL_SSL 这样的强认证和加密机制，以确保 Kafka 集群在传输中的安全性。
kafka重要配置参数详解
weixin_43914685的博客
03-24 1597
发送端的可选配置信息分析 1.acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0：表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大（因为当 server 宕机时，数据将会丢失）。 Ø 1：表示 producer 只需要获得 kafka 集群中的 leader 节点确认即可，这个选择时延较小同时确保了 leader 节点确认接收成功。 Ø all(-1)：需要 ISR 中所有的 Replica 给予接收确认
Kafka的配置文件详解及优化
lixinkuan的博客
05-13 3742
生产者把消息发送到broker之后，并且消息被写入到本地文件，才认为发送成功，这是第二种情况；#而broker集群是不会进行解压缩的，broker集群只会把消息发送到消费者集群，然后由消费者来解压缩。#生产者将消息发送到broker，有两种方式，一种是同步，表示生产者发送一条，broker就接收一条；#此时,如果消息的条数达到阀值,将会导致producer端阻塞或者消息被抛弃，默认为10000条消息。#还有一种是异步，表示生产者积累到一批的消息，装到一个池子里面缓存起来，再发送给broker，
kafka参数配置详解
03-24
Kafka参数配置详解 Kafka是一种流行的分布式流处理平台，用于构建实时数据管道和事件驱动的架构。为了确保Kafka集群的稳定运行和高性能，需要正确地配置Kafka参数。本文将详细介绍Kafka的参数配置，包括系统参数、...
Kafka配置参数详解 - 网络技术.rar_KAFKA broker_Kafka配置参数详解_kafka
09-14
本篇将深入探讨Kafka配置参数，帮助你理解和优化Kafka集群的运行。 1. **broker.id**: 这个参数是每个Kafka broker的唯一标识，它必须在整个集群中是唯一的。值可以是任意整数，通常从0开始。 2. **zookeeper....
kafka安装配置详解
07-30
kafka安装配置详解 Kafka是一种高吞吐量、基于发布-订阅模式的消息队列系统，广泛应用于大数据处理、实时数据处理和流处理等领域。下面将详细介绍Kafka的安装配置过程。 JDK1.8安装 Kafka依赖JDK1.8，故首先需要...
kafka配置参数详解 - 网络技术
09-22
在实际使用过程中，需要对Kafka的配置参数进行详细理解，以便根据具体业务需求调整参数，优化性能。以下对Kafka主要配置参数进行详细解读： 1. broker.id：这是Kafka broker的唯一标识符，它是一个整数，用于唯一...
KafkaMQ 日志采集最佳实践
观测云的博客
07-22 672
本文主要介绍通过观测云消费 Kafka 采集到的日志数据，并将数据通过 Pipeline 进行字段提取和分类，便于用户对日志数据进行可视化分析。
如何用 Kafka + Redis + 线程池搭建高吞吐异步消息处理架构
最新发布
Harry的博客
07-23 539
通过 Kafka → Redis → ThreadPool 这条流水线，我们把“消费”和“处理”拆开，利用 Redis 做持久化队列缓冲，实现了高并发下稳定、可扩展的异步消息处理。它适合复杂业务中处理慢且量大的消息流。如果你正在用 Kafka 做消息系统，且遇到消费处理瓶颈，不妨尝试这种设计。
Kafka MQ 消费者
26857259
07-23 37
Kafka MQ 消费者
kafka主题管理详解 - kafka-topics.sh
cuiwin的专栏
07-22 862
删除操作是异步的，执行完这条命令不代表主题立即就被删除了。它仅仅是被标记成“已删除”状态而已。Kafka 会在后台默默地开启主题删除操作。在 Kafka 中，复制因子不能大于可用的 broker 数量，因为每个副本需要存储在不同的 broker 上以保证高可用性。工具用于管理主题（topics），包括创建、查看、修改和删除等操作。在 Kafka 的 KRaft 模式（无 ZooKeeper）中，注意：在 KRaft 模式下，不再使用。注意：删除主题需要 broker 配置。
kafka4.0集群部署
SuperSOSUP的博客
07-22 284
每台节点设置日志目录的格式，$KAFKA_CLUSTER_ID应为上面生成的值，每个节点都要用相同的uuid。kafka4.0是最新版kafka，可在kafka官网下载，依赖的jdk版本要求在jdk17及jdk17以上。# 每个节点需要在config/server.properties中配置相关内容。# 随便一台节点运行生成随机uuid，后面每台节点都要使用此uuid。# 创建主题名为cluster-topic存储事件。# 启动 Kafka 服务，每台节点都执行。# 先关闭kafka服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值