Kafka限流(Quota)设置

最新推荐文章于 2024-04-20 15:46:04 发布

王树民

最新推荐文章于 2024-04-20 15:46:04 发布

阅读量5.2k

点赞数

分类专栏： kafka

本文链接：https://blog.youkuaiyun.com/wangshuminjava/article/details/105214481

版权

kafka 专栏收录该内容

94 篇文章

订阅专栏

本文介绍了如何在Kafka中为特定的客户端ID进行限流配置，包括使用producer_byte_rate和consumer_byte_rate参数来限制消息的生产和消费速率，并通过压力测试验证配置效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

12月 24, 2016 | Nix.Huang

如果kafka客户端是认证的。那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1024' --entity-type clients --entity-name clientA

对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量，单位为byte/sec。consumer_byte_rate表示每秒最多能消费的消息了，单位也为byte/sec。
可以使用bin/kafka-producer-perf-test.sh压力测试脚本来验证你的限流配置是否生效。

bin/kafka-producer-perf-test.sh --topic test_perf --num-records 10000 --record-size 100 --throughput 150 --producer-props bootstrap.servers=localhost:9092 client.id=clientA

注意"client.id=clientA"属性值。
当然，你会简单的zookeeper命令行操作，也可以登录zookeeper执行如下的命令

[zk: localhost:2181(CONNECTED) 16] get /config/clients/clientA
{"version":1,"config":{"producer_byte_rate":"20480","consumer_byte_rate":"1024"}}

发现kafka将我们的限流设置以json的格式写入了zookeeper中。