kafka 压力测试

最新推荐文章于 2024-05-24 09:19:11 发布

原创

最新推荐文章于 2024-05-24 09:19:11 发布 · 439 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Kafka官方脚本进行Producer和Consumer的压力测试，通过测试观察CPU、内存、网络IO等指标，分析性能瓶颈。测试结果显示最大吞吐率为9.5368MB/s，平均消费速度为2.0714MB/s。Kafka机器数量的经验公式为：2*(峰值生产速度*副本数/100) + 1，以此预估部署所需Kafka的数量。

1）Kafka压测
用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。

kafka-consumer-perf-test.sh
kafka-producer-perf-test.sh

2）Kafka Producer压力测试
（1）在/opt/module/kafka/bin目录下面有这两个文件。我们来测试一下

[atguigu@hadoop102 kafka]$ bin/kafka-producer-perf-test.sh  --topic test --record-size 100 --num-records 100000 --throughput 1000 --producer-props bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
说明：record-size是一条信息有多大，单位是字节。num-records是总共发送多少条信息。throughput 是每秒多少条信息。

（2）Kafka会打印下面的信息

5000 records sent, 999.4 records/sec (0.10 MB/sec), 1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

不言尘世

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka入门(4) -- kafka基准测试

erainm

09-15

440

1. 基准测试基准测试（benchmark testing）是一种测量和评估软件性能指标的活动。我们可以通过基准测试，了解到软件、硬件的性能水平。主要测试负载的执行时间、传输速度、吞吐量、资源占用率等。 1.1 基于1个分区1个副本的基准测试测试步骤：启动Kafka集群创建一个1个分区1个副本的topic: benchmark 同时运行生产者、消费者基准测试程序观察结果 1.1.1 创建topic bin/kafka-topics.sh --zookeeper node1:2181 --c

【Kafka-3.x-教程】-【七】Kafka 生产调优、Kafka 压力测试

weixin_53543905的博客

01-10

1692

那么当生产者向一个未创建的主题发送消息时，会自动创建一个分区数为 num.partitions（默认值为1）、副本因子为 default.replication.factor（默认值为 1）的主题。：默认是 none，不压缩，但是也可以使用 lz4 压缩，效率还是不错的，压缩之后可以减小数据量，提升吞吐量，但是会加大 producer 端的 CPU 开销。服务器台数 = 2 * （生产者峰值生产速率 * 副本 / 100） + 1 = 2 * （20m/s * 2 / 100） + 1 = 3 台。

参与评论您还未登录，请先登录后发表或查看评论

kafka压测

weixin_63302986的博客

05-24

1040

num.network.threads：broker处理消息的最大线程数，和我们生产消费的thread很类似主要处理网络io，读写缓冲区数据，基本没有io等待，建议配置线程数量为cpu核数加1；在服务器上使用Kafka自带的测试脚本，模拟1y级别的消息写入以及读取请求，查看Kafka处理不同数量级的消息数时的处理能力，包括每秒生成消息数、吞吐量、消息延迟时间。througout:我们所需要的吞吐量，单位时间内处理消息的数量，可能对我们处理消息的延迟有影响；

Kafka压力测试

weixin_42796403的博客

12-09

735

Kafka压力测试 一、Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈**（CPU，内存，网络IO）。一般都是网络IO达到瓶颈**。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 二、Kafka Producer压力测试（1）在/opt/module/kafka/bin目录下面有这两个文件 [hadoop@hadoop102 kafka]$ bin/kafka-prod

Hadoop_Kafka安装

qq_56870570的博客

08-17

1148

1. 安装部署 1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 1.2 jar包下载 http://kafka.apache.org/downloads 1.3 集群部署 1）解压安装包 [muzili@hadoop102

kafka压力测试（官方自带）

lck_csdn的博客

12-22

892

1、Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2、Kafka Producer压力测试在…/kafka/bin目录下 [duoduo@hadoop100 kafka_2.11-2.4.0]$ bin/kafka-producer-perf-test.sh --top

Kafka压测报告

伤心的辣条

04-24

1213

本次性能测试在测试环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据1w、10w和100w级别的消息处理结果，评估Kafka的处理性能是否满足项目需求。

Kafka压力测试(自带测试脚本)(单机版)

shykevin的博客

12-06

999

Kafka压力测试(自带测试脚本)(单机版) 一、测试目的本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据10w、100w和1000w级别的消息处理结果，评估Kafka的处理性能是否满足项目需求。（该项目期望Kafka能够处理上亿级别的M...

kafka压力测试

weixin_46153092的博客

04-30

510

一、kafka压力测试 1、写入mq的消息 100000条 ./kafka-producer-perf-test.sh --topic topic_001 --num-records 100000 --record-size 1000 --throughput 200 --producer-props bootstrap.servers=bigdata1:6667,bigdata:6667,bigdata:6667 kafka-producer-perf-test.sh 脚本命令的参数解析 –topic

Kafka压力测试（官方自带）

hyunbar的博客

06-27

5851

Kafka 的压测

小憨憨的博客

12-10

326

Kafka 官方提供了压测脚本 kafka-consumer-perf-test.sh 、 kafka-producer-perf-test.sh。通过脚本执行可以检查是否存在一些瓶颈； producer 压测： /opt/cloudera/parcels/CDH/lib/kafka/bin/kafka-producer-perf-test.sh \ --topic test --record-size 1000 --num-records 1000000 --throughput

Kafka性能压测完整版