Kafka压力测试

关注

原创最新推荐文章于 2026-03-07 06:30:00 发布 1.9k 阅读 AI 写同款· GEO 优化 ›

基于FPGA的图像预处理系统(图) 北京机械工业学院韩娟娟邓文怡娄小平由于获取图像的工具或手段的影响，使获取图像无法完全体现原始图像的全部信息。因此，对图像进行预处理就显得非常重要。预处理的目的是改善图像数据，抑制不需要的变形或者增强某些对于后续处理来说比较重要的图像特征。通常根据预处理目的的不同，把预处理技术归为图像增强技术和图像分割技术两类。图像对比度处理是空间域图像增强的一种方法。由于图像灰度范围狭窄会使阅读详情

一、Kafka压测

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。

使用的两个脚本为kafka-consumer-perf-test.sh和kafka-producer-perf-test.sh，脚本的位置在$KAFKA_HOME/bin目录下。

二、脚本使用

2.1Kafka Producer压力测试(kafka-producer-perf-test.sh)

(1)使用方式

usage: producer-performance [-h] --topic TOPIC --num-records NUM-RECORDS [--payload-delimiter PAYLOAD-DELIMITER] --throughput THROUGHPUT
                            [--producer-props PROP-NAME=PROP-VALUE [PROP-NAME=PROP-VALUE ...]] [--producer.config CONFIG-FILE] [--print-metrics]
                            [--transactional-id TRANSACTIONAL-ID] [--transaction-duration-ms TRANSACTION-DURATION] (--record-size RECORD-SIZE |
                            --payload-file PAYLOAD-FILE)

(2)参数介绍

optional arguments:
-h, --help 查看帮助
--topic TOPIC topic
--num-records NUM-RECORDS 产生的消息数量
--payload-delimiter PAYLOAD-DELIMITER 当指定--payload-file参数时，可以提供分割符，注意：如果没有--payload-file 参数，该参数不会生效，默认是\n
--throughput THROUGHPUT 每秒的吞吐量，即每秒多少条消息
--producer-props PROP-NAME=PROP-VALUE [PROP-NAME=PROP-VALUE ...] kafka生产者相关的配置属性，比如 bootstrap.servers，client.id 等等，该参数指定的配置参数比--producer.config指定的配置参数优先级高
--producer.config CONFIG-FILE 生产者的配置文件
--print-metrics 在最后输出测试的指标 (默认: false)

--record-size RECORD-SIZE 消息的字节大小，注意：只能提供 --record-size 和--payload-file其中的一个参数，不可以全部都指定
--payload-file PAYLOAD-FILE 读取消息的文件，必须是 UTF-8编码的文本文件。
注意： --record-size和--payload-file参数，是必须要指定的，但只能指定其中的一个参数，不可以全部指定。

（3）测试

 bin/kafka-producer-perf-test.sh  --topic test  --print-metrics --record-size 100 --num-records 100000 --throughput 1000  --producer-props bootstrap.servers=kms-2:9092,kms-3:9092,kms-4:9092  


说明：record-size是一条信息有多大，单位是字节。num-records是总共发送多少条信息。throughput 是每秒多少条信息。

测试结果：

分析：本例中一共写入10w条消息，每秒向Kafka写入了0.10MB的数据，平均是999.99条消息/秒，每次写入的平均延迟为13.84毫秒，最大的延迟为793毫秒。

2.2Kafka Consumer压力测试(kafka-consumer-perf-test.sh)

Consumer的测试，如果这四个指标（IO，CPU，内存，网络）都不能改变，考虑增加分区数来提升性能。

(1)参数介绍：
--broker-list <String: host> REQUIRED: kafka server
--consumer.config <String: config file> 消费者配置文件
--date-format <String: date format> 日期格式见 java.text.SimpleDateFormat . (默认: yyyy-MM-dd HH:mm:ss:SSS)
--fetch-size <Integer: size> 一次请求提取的数据量 (默认: 1048576)
--from-latest 如果消费者还没有建立偏移量，则从最新的消息开始消费，而不是最早的消息
--group <String: gid> 消费者组id (默认: perf-consumer-69057)
--help 帮助信息
--hide-header 如果设置，将不会打印状态头信息
--messages <Long: count> REQUIRED: 发送或者消费的消息数量
--num-fetch-threads <Integer: count> 抓取的线程数量 (default: 1)
--print-metrics 打印指标
--threads <Integer: count> 处理的线程数 (default: 10)
--timeout [Long: milliseconds] 允许返回数据的最大超时时间(default: 10000)
--topic <String: topic> REQUIRED: 消费的主题

(2)测试

 bin/kafka-consumer-perf-test.sh  --broker-list kms-2:9092,kms-3:9092,kms-4:9092    --topic test --fetch-size 10000 --messages 10000000 --threads 1

--topic 指定topic的名称
--fetch-size 指定每次fetch的数据的大小
--messages 总共要消费的消息个数

测试结果：