kafka调试脚本的使用

Apex Predator

已于 2023-04-25 17:47:18 修改

阅读量480

点赞数

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： kafka java 分布式

于 2023-04-25 17:44:00 首次发布

本文链接：https://blog.youkuaiyun.com/ApexPredator/article/details/130369265

kafka 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了如何使用Kafka命令行工具进行Topic的创建、描述、列举、删除，以及如何写入和消费消息。此外，还涵盖了对Kafka集群的压力测试和领导者节点选举操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建名称为test的topic且副本数量3，partition数量6

/etc/kafka/kafka/bin/kafka-topics.sh --create --bootstrap-server 10.1.60.112:9092 --replication-factor 3 --partitions 6 --topic test

查看名称为test的topic信息

/etc/kafka/kafka/bin/kafka-topics.sh --describe --bootstrap-server 10.1.60.114:9092 --topic test

查看所有topic

/etc/kafka/kafka/bin/kafka-topics.sh --list --bootstrap-server 10.1.60.112:9092

删除topic

/etc/kafka/kafka/bin/kafka-topics.sh --bootstrap-server 10.1.60.112:9092 --delete --topic test

使用生产者脚本向名称为test的topic写入消息

/etc/kafka/kafka/bin/kafka-console-producer.sh --broker-list 10.1.60.112:9092 --topic test

使用消费者脚本消费名称为test的topic中的消息

/etc/kafka/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.1.60.114:9092 --topic test --from-beginning

重新分配topic为apex的分区2的leader节点

/etc/kafka/kafka/bin/kafka-leader-election.sh --bootstrap-server 10.1.60.114:9092 --topic apex --partition 2 --election-type preferred

kafka集群生产压力测试

/etc/kafka/kafka/bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=10.1.60.112:9092,10.1.60.114:9092,10.1.60.115:9092

kafka集群消费压力测试

/etc/kafka/kafka/bin/kafka-consumer-perf-test.sh --topic test --broker-list 10.1.60.112:9092,10.1.60.114:9092,10.1.60.115:9092 --fetch-size 10000 --messages 1000000 --threads 1

有不会用的命令也可以在命令后加入 --help

例如 /etc/kafka/kafka/bin/kafka-topics.sh --help