Kafka压力测试

最新推荐文章于 2025-06-25 16:34:34 发布

原创

最新推荐文章于 2025-06-25 16:34:34 发布 · 1.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

本文介绍了如何使用Kafka官方脚本进行压力测试，包括Kafka Producer和Consumer的压力测试，详细解析了测试脚本的参数及测试结果分析，帮助理解Kafka的性能瓶颈和优化方向。

一、Kafka压测

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。

使用的两个脚本为kafka-consumer-perf-test.sh和kafka-producer-perf-test.sh，脚本的位置在$KAFKA_HOME/bin目录下。

二、脚本使用

2.1Kafka Producer压力测试(kafka-producer-perf-test.sh)

(1)使用方式

usage: producer-performance [-h] --topic TOPIC --num-records NUM-RECORDS [--payload-delimiter PAYLOAD-DELIMITER] --throughput THROUGHPUT
                            [--producer-props PROP-NAME=PROP-VALUE [PROP-NAME=PROP-VALUE ...]] [--producer.config CONFIG-FILE] [--print-metrics]
                            [--transactional-id TRANSACTIONAL-ID] [--transaction-duration-ms TRANSACTION-DURATION] (--record-size RECORD-SIZE |
                            --payload-file PAYLOAD-FILE)

(2)参数介绍

optional arguments:
-h, --help 查看帮助
--topic TOPIC topic
--num-records NUM-RECORDS 产生的消息数量
--payload-delimiter PAYLOAD-DELIMITER 当指定--payload-file参数时，可以提供分割符，注意：如果没有--payload-file