Kafka压力测试(写入MQ消息压测和消费MQ消息压测)

KAFKA压测实录 1.压测方案 1.1 压测目的 1.2 测试范围及方法 1.2.1 测试范围概述 1.2.2测试方法 2. 生产环境压测 2.1 生产环境集群配置 2.2 生产环境producer压测脚本 2.2.1创建TOPIC 2.2.1.1创建3分区3副本TOPIC prd_pressure_test_3_3partition 2.2.1.2创建4分区3副本TOPIC prd_pressure_test_4_3partition 2.2.1.3创建6分区3副本TOPIC p... 阅读详情

 

 

 

1.测试目的

        本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据10w、100w和1000w级别的消息处理结果,评估Kafka的处理性能是否满足项目需求。(该项目期望Kafka能够处理上亿级别的MQ消息)

2.测试范围及方法

2.1测试范围概述

   测试使用Kafka自带的测试脚本,通过命令对Kafka发起写入MQ消息和Kafka消费MQ消息的请求。模拟不同数量级的MQ消息写入和MQ消息消费场景,根据Kafka的处理结果,评估Kafka是否满足处理亿级以上的消息的能力。

2.2性能测试场景设计

2.2.1Kafka写入消息压力测试

测试场景

MQ消息数

每秒写入消息数

记录大小(单位:字节)

Kafka消息写入测试

10W

2000条

1000

100W

5000条

1000

1000W

5000条

1000

2.2.2Kafka消费消息压力测试

测试场景

消费MQ消息数

Kafka消息消费测试

10W

100W

1000W

2.3测试方法简要描述

2.3.1测试目的

     验证带台服务器上Kafka写入消息和消费消息的能力,根据测试结果评估当前Kafka集群模式是否满足上亿级别的消息处理能力。

2.3.2测试方法

     在服务器上使用Kafka自带的测试脚本,分别模拟10w、100w和1000w的消息写入请求,查看Kafka处理不同数量级的消息数时的处理能力,包括每秒生成消息数、吞吐量、消息延迟时间。Kafka消息吸入创建的topic命名为test_perf,使用命令发起消费该topic的请求,查看Kafka消费不同数量级别的消息时的处理能力。

  • 压测命令信息:

测试项

压测消息数(单位:W)

测试命令

写入MQ消息

10

./kafka-producer-perf-test.sh --topic test_perf --num-records 100000 --record-size 1000  --throughput 2000 --producer-props bootstrap.servers=10.150.30.60:9092

100

./kafka-producer-perf-test.sh --topic test_perf --num-records 1000000 --record-size 2000  --throughput 5000 --producer-props bootstrap.servers=10.150.30.60:9092

1000

./kafka-producer-perf-test.sh --topic test_perf --num-records 10000000 --record-size 2000  --throughput 5000 --producer-props bootstrap.servers=10.150.30.60:9092

消费MQ消息

10

./kafka-consumer-perf-test.sh --zookeeper localhost:2181 --topic test_perf --fetch-size 1048576 --messages 1000000 --threads 1

100

./kafka-consumer-perf-test.sh --zookeeper localhost:2181 --topic test_perf --fetch-size 1048576 --messages 10000000 --threads 1

1000

./kafka-consumer-perf-test.sh --zookeeper localhost:2181 --topic test_perf --fetch-size 1048576 --messages 10000000 --threads 1

  • 脚本执行目录:服务器上安装Kafka的bin目录;

3.测试环境

3.1测试环境机器配置表

主 机

数量

资 源

操作系统

MQ消息服务

1

硬件:8(核)-32768(M)-100(G)

软件:Kafka集群(Kafka_2.11-0.10.1.0)

centos7.3

MQ消息处理

 

1

硬件:8(核)-32768(M)-100(G)

软件:Kafka集群(Kafka_2.11-0.10.1.0)

centos7.3

测试机配置

1

硬件:8(核)-32768(M)-100(G)

软件:node(V6.11.3)运行环境、jdk1.8、tomcat8、nginx

centos7.3

3.2 测试工具

Kafka压测工具

Kafka自带压测脚本

4.测试结果

4.1测试结果说明

本次测试针对Kafka消息处理的能力 进行压力测试,对Kafka集群服务器中的一台进行MQ消息服务的压力测试,关注Kafka消息写入的延迟时间是否满足需求。对Kafka集群服务器中的一台进行MQ消息处理的压力测试,验证Kafka的消息处理能力。

4.2测试结果

4.2.1写入MQ消息

测试项

设置消息总数
(单位:w)

设置单个消息大小
(单位:字节)

设置每秒发送消息数

实际写入消息数/秒

95%的消息延迟
(单位:ms)

写入MQ消息

10

1000

2000

1999.84

1

100

1000

5000

4999.84

1

1000

1000

5000

4999.99

1

  • 压测结果截图
  1. 写入10w消息压测结果

     

  2. 写入100w消息压测结果 

     

  3. 写入1000w消息压测结果

  • kafka-producer-perf-test.sh 脚本命令的参数解析(以100w写入消息为例):

--topic topic名称,本例为test_perf
--num-records 总共需要发送的消息数,本例为100000
--record-size 每个记录的字节数,本例为1000
--throughput 每秒钟发送的记录数,本例为5000
--producer-props bootstrap.servers=localhost:9092 (发送端的配置信息,本次测试取集群服务器中的一台作为发送端,可在kafka的config目录,以该项目为例:/usr/local/kafka/config;查看server.properties中配置的zookeeper.connect的值,默认端口:9092)

  • MQ消息写入测试结果解析:

本例中写入100w条MQ消息为例,每秒平均向kafka写入了4.77MB的数据,大概是4999.875条消息/秒,每次写入的平均延迟为1毫秒,最大的延迟为647毫秒,1ms内占99%。

4.2.2消费MQ消息

消费MQ消息

消费消息总数
(单位:w)

共消费数据
(单位:M)

每秒消费数据
(单位:M)

每秒消费消息数

消费耗时
(单位:s)

消费MQ消息

10

95.36

137

143899.3

0.695

100

953.66

177.19

185804.5

5.38

1000

9536.73

198.25

207878.6

48.11

  • 压测结果截图

  1. 消费10w消息压测结果
  2. 消费100w消息压测结果
  3. 消费1000w消息压测结果
  • kafka-consumer-perf-test.sh 脚本命令的参数为:
    --zookeeper 指定zookeeper的链接信息,本例为localhost:2181 ;
    --topic 指定topic的名称,本例为test_perf,即4.2.1中写入的消息;
    --fetch-size 指定每次fetch的数据的大小,本例为1048576,也就是1M
    --messages 总共要消费的消息个数,本例为1000000,100w
  • 以本例中消费100w条MQ消息为例总共消费了953.66M的数据,每秒消费数据大小为177.19M,总共消费了10000004条消息,每秒消费185804.53条消息。

5.结果分析

  •        根据4.2.测试结果,可以看出在单台服务器上,写入MQ消息设置5000条/秒时,消息写入及时,95%的消息延迟时间小于等于1ms,在可接受范围内;Kafka消费MQ消息时,1000W待处理消息的处理能力在每秒20w条以上,处理结果理想。
  •    根据Kafka处理10w、100w和1000w级的消息时的处理能力,可以评估出Kafka集群服务,是否有能力处理上亿级别的消息。
  • 本次测试是在正式环境集群服务中的单台服务器上进行,基本不需要考虑网络带宽的影响。所以单台服务器的测试结果,对评估集群服务是否满足上线后实际应用的需求,很有参考价值。

 

JMeter-RabbitMQ插件包 使用Jmeter对RabbitMQ进行性能测试,将此包和amqp-client-5.5.0.jar放到/lib/ext目录下,重新启动jmeter,采样器下会新增MQ的生产者和消费者 立即下载

相关推荐

jmeter压测RocketMQ的插件

1、本人项目中要压测RocketMQ,发现网上的有一些源码,但是都不是很全,于是乎自己开发了一个插件,请放到jmeter的lib下的ext下,然后重启jmeter,在java sample中使用

压测RabbitMQ性能

RabbitMQ性能压测

weixin_43997024的博客 1625

JMETER插件,进行IBM MQ测试

jmeter插件,用于进行IBM MQ测试。 部署插件之后,可进行简单配置,即可发送消息到mq通道中 使用方法参见 https://testerhome.com/notes/2193

JMeter安装RabbitMQ测试插件

整体流程如下:先下载AMQP插件源码,可以通过ant+ivy在本地编译成jar包,再将jar包导入JMeter目录下,重启JMeter生效。 Apache Ant 是一个基于 Java 的构建工具。Ant 可用于自动化构建和部署 Java 应用程序,使开发人员更轻松地管理其项目。Ant 与 Ivy 集成良好,可用于管理项目依赖项。通过使用 Ivy 和 Ant,开发人员可以轻松从远程存储库下载和管...

weixin_45327643的博客 409

ALTERA Triple-Speed Ethernet IP核在UDP通信中的实战配置指南

本文详细介绍了在Intel FPGA(原ALTERA)平台上配置Triple-Speed Ethernet IP核以实现UDP通信的实战指南。内容涵盖从IP核选型、QSYS系统搭建、关键参数配置,到UDP数据包组装、NIOS C程序调试及上板验证的全流程,重点解析了如何利用该IP核快速构建稳定的千兆网通信基础,为FPGA网络应用开发提供清晰路径。

m3n5b7v8c9x的博客 516

ARM双核锁步DCLS Lockstep技术研究(FPGA实现)

基于《Applying Dual-Core Lockstep in Embedded Processors to Mitigate Radiation-induced Soft Errors》文章总结 RISC-V双核锁步DCLS Lockstep技术参考之前文章: RISC-V双核锁步DCLS Lockstep技术总结_远古架构师alanwu的博客-优快云博客https://blog.youkuaiyun.com/heyuming20062007/article/details/123329537ARM+RIS

heyuming20062007的博客 8730

RabbitMQ集群的架构搭建全过程,JMeter压力测试软件的安装使用教程

来源:https://www.2cto.com/net/201804/739090.html 什么是RabbitMQ MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于...

rentian1的博客 676

GD32F470 DSP库移植避坑指南:从CMSIS版本冲突到AC6工程配置

本文详细解析了在GD32F470平台上移植CMSIS-DSP库的完整流程与关键避坑点。针对CMSIS版本冲突、AC6编译器下的浮点ABI配置、DSP库源文件添加等核心难题,提供了经过验证的解决方案,帮助开发者高效完成移植,确保硬件FPU正常工作并优化性能。

data3的博客 533

【kafka压测】关于kafka性能压测(kafka内置压测工具)

使用Jmeter压测Kafka:https://www.blazemeter.com/blog/apache-kafka-how-to-load-test-with-jmeter/ Kafka压力测试(写入MQ消息压测和消费MQ消息压测):https://blog.youkuaiyun.com/laofashi2015/article/details/81111466 kafka内置压测: //生产压测 bin/kafka-producer-perf-test.sh --topic test_perf...

大JAVA解决方案 1178

【水文】calico-node 启动失败 Init:CrashLoopBackOff

Defaulted container "calico-node" out of: calico-node, upgrade-ipam (init), install-cni (init), mount-bpffs (init) Error from server (BadRequest): container "calico-node" in pod "calico-node-4j7td" is waiting to start: PodInitializing

大健的日常的博客 1万+

LangGraph 实战教程:搭建一个智能办公多Agent协作平台

只存储必要的信息:不要把所有的原始数据都存储在状态中,比如销售数据可以存储在数据库或向量数据库中,状态中只存储数据的 ID 或摘要。使用类型提示:避免类型错误,提高代码的可维护性。支持增量更新:LangGraph 默认支持状态的增量更新(通过reduce函数),比如messages列表可以通过追加新消息的方式更新,而不是每次都重新创建整个列表。Normal Edge 的定义非常简单,只需要在StateGraph对象(稍后会详细讲解)上调用add_edge# 创建一个 StateGraph 对象。

SuperAGI2025 222

Kafka压测报告

在服务器上使用Kafka自带的测试脚本,分别模拟1w、10w和100w的消息写入请求,查看Kafka处理不同数量级的消息数时的处理能力,包括每秒生成消息数、吞吐量、消息延迟时间。模拟不同数量级的MQ消息写入和MQ消息消费场景,根据Kafka的处理结果,评估Kafka是否满足处理亿级以上的消息的能力。本例中写入100w条MQ消息为例,每秒平均向kafka写入了62.79MB的数据,大概是65837.118968条消息/秒,每次写入的平均延迟为473.35毫秒,最大的延迟为694毫秒。

okcross0的博客 994

实战:RK3568 Android14 调试 ES8388 音频驱动 (MIC 篇)

这个板子的MIC设计使用了硬件自动切换方案,极大简化了软件层面的逻辑。我们不需要根据耳机插拔事件去编写复杂的路由切换代码,只需要守住 LIN1/RIN1 这一个入口,配置好增益,剩下的交给那颗 SGM3157 芯片即可。祝您的录音功能调试顺利!

qq_33427070的博客 1686

Kafka性能压测完整版

1.压测方案 1.1 压测目的 本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据不同量级的消息处理结果,评估Kafka的处理性能是否满足项目需求(该项目期望Kafka能够处理上亿级别的MQ消息)。 1.2 测试范围及方法 1.2.1 测试范围概述 测试使用Kafka自带的测试脚本,通过命令对Kafka发起写入MQ消息和Kafka消费MQ消息的请求。模拟不同数量级的消息队列的消息写入和消费场景,根据Kaf

ytp552200ytp的博客 1万+

双重分组进位跳跃进位链

跳跃进位链

qq_62260432的博客 942

redhawk如何看高toggle rate instance

1.图形界面View-Power Map - Toggle Map of Instances。redhawk通过报告和图形界面两种方式查看高toggle rate的instance。2.看warning log,在adsRpt/Warn里,搜toggle rate。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 628

数据不撒谎,Flink-Kafka性能压测全记录!

本文作者来自本号的粉丝:林夕_Yume,作者微信:wxid_nvd5wwng4v2i22欢迎大家关注他的简书:https://www.jianshu.com/u/3fa2...

微信搜:import_bigdata,大数据领域硬核原创作者 6076

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Kafka压力测试(自带测试脚本)(单机版)

一、测试目的 本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据10w、100w和1000w级别的消息处理结果,评估Kafka的处理性能是否满足项目需求。(该项目期望Kafka能够处理上亿级别的MQ消息) 二、测试范围及方法 2.1 测试范围概述 测试使用Kafka自带的测试脚本...

ShanDong_Chu 2198

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

kafka分区数如何设置_数据不撒谎,Flink-Kafka性能压测全记录

本文作者来自本号的粉丝:林夕_Yume,作者微信:wxid_nvd5wwng4v2i22欢迎大家关注他的简书:https://www.jianshu.com/u/3fa2b243f30d大家有同样需求的同学赶紧加他好友探讨~1.压测方案1.1 压测目的本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据不同量级...

weixin_39556702的博客 1578

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: 【kafka压测】关于kafka性能压测(kafka内置压测工具)
下一篇: 如何使用 Docker 来限制 CPU、内存和 IO等资源? 
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值