JMeter压测请求Kafka并发送数据

原创 已于 2022-03-15 12:19:06 修改 · 8.1k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #java #分布式

于 2022-03-15 12:13:08 首次发布
本文介绍了如何使用JMeter进行Kafka的压测，通过在JMeter中添加Java请求并配置Kafka参数，实现数据的发送。同时，文章提供了服务端消费者监听消息的方法，确保消息正确消费。最后，讨论了线程组并发数的设定以适应不同项目需求。
部署运行你感兴趣的模型镜像

因为需要测试风控决策引擎，需要使用JMeter往Kafka中灌入数据，但是如果手动一条条json进去那就累死个人，解决方法就是通过JMeter发送数据到kafka并进行消费，废话不多说，看下面流程

  1. 首先在下载jmeter到本地，在lib-》ext目录中导入一个kafkameter.jar包，如下图：
    在这里插入图片描述

jar包下载地址：https://download.youkuaiyun.com/download/hui_yong/84834292

  1. 插入jar之后，打开JMeter进行操作了，首先新建一个Thread group，在线程组下面添加一个Java request：
    在这里插入图片描述

  2. 在Java request中Class name选择下拉列表，这就是你导入到ext目录中的jar，配置Kafka参数如下图（找你们开发要）：
    在这里插入图片描述

发送消息：
在这里插入图片描述

服务端消费者，这里怎么监听消息，需要进入服务端命令如下：
在这里插入图片描述
在这里插入图片描述

填写上面的配置参数后，先在服务端开启kafka消费者这，如果jmeter发送消息后，服务端能正常消费证明配置是没问题了。

  1. 最后就是线程组并发数，这里需要根据你们项目要求定义并发量：
    在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

使用Jmeter对Kafka进行性能测试
魔都虫师的博客
07-23 1517
最近消息队列要换成Kafka，作为一个测试人员，应工作要求，需要对Kafka进行性能测试，那么开干吧，了解它，测试它。在这里把自己学习和使用的一些经验记录在本文中，研究如何去使用Apache JMeter测试Kafka。 首先，先来了解一下什么是Kafka。 A Brief Overview of Apache Kafka 在一个大型的分布式系统中，通常有很多服务生成不同的事件：日志、监视数据、可疑用户操作等等。在Kafka中，这些被称为生产者Producer。另一方面，有些服务需要生成的...
Jmeter Kafka插件开发之Sampler篇
C'mon的博客
05-14 3367
Jmeter Kafka插件开发之Sampler篇 背景:在项目中经常需要往kafka里面写数据，并拿生成的数据执行后续的操作，并且有些接口中也需要用到kafka里的数据，小编使用JMeter做接口测试，于是在网上找了下发现有一个插件是java sampler 界面不太友好，故萌发了写个JMeter Kafka插件的想法。 界面如下: Ps:小编公司对kafka进行了二次封装，不...
jmeter-backend-listener-kafka：一个JMeter插件，使您可以将测试结果发送到Kafka服务器
01-30
jmeter后端侦听器kafka 一个JMeter插件，使您可以将测试结果发送到Kafka服务器。 总览 描述 JMeter后端监听器Kafka是一个JMeter插件，使您可以将测试结果发送到Kafka服务器。 它受JMeter 后端侦听器插件的启发。 产品特点 筛选器 仅使用过滤器发送所需的样品！ 只需在相应的字段中按如下所示键入它们： filter1;filter2;filter3或sampleLabel_must_contain_this 。 特定字段field1;field2;field3 指定要发送到Kafka的字段（以下可能的字段）： 所有线程 身体尺寸 字节数 已发送字节 连接时间 内容类型 数据类型 错误计数 GrpThreads 空闲时间 潜伏 响应时间 样本数 SampleLabel 线程名 网址 响应码 TestStartTime SampleStartTime SampleEndTime 时间戳记 喷油器主机名 详细，半详细，仅错误和安静模式： debug ：发送所有采样器的请求/响应信息（标题，正文等） info ：将所有采样器发送到Ka
JMeter集成Kafka测试插件Kafkameter实战
最新发布
weixin_35815766的博客
09-09 463
本章详细介绍了Kafkameter-0.2.0插件的安装流程，从环境准备、安装方式到验证与问题排查，覆盖了安装过程中的所有关键环节。通过本章内容，读者应能够完成插件的正确部署，并为后续的Kafka性能测试打下坚实的基础。在下一章中，我们将深入探讨如何配置JMeter的Java Request Sampler以实现对Kafka消息的发送测试。是 JMeter 中一种非常强大的采样器类型，它允许用户通过实现接口，编写 Java 类来执行自定义请求逻辑。
Jmeter向kafka发送数据
钰树霖风
02-14 5759
Jmeter连接kafka并生成脚本在linux后台运行
安全测试｜如何使用burpsuite+xray实现联动测试
伤心的辣条
04-01 1205
安全测试过程中手动分析测试与xray自动化扫描测试结合，这样可以从多层保障安全测试的分析，针对平台业务接口量大的安全测试是十分有用的，可以实现双向测试同时开始。
【kafka】使用jmeter压测kafka并发性能
weixin_36142042的博客
02-09 2644
1、idea中开发kafka并发测试需要的扩展包 由于jmeter的jms模块并不支持kafka，因此需要扩展开发 引入jmeter <dependency> <groupId>org.apache.jmeter</groupId> <artifactId>ApacheJMeter_core</artifactId> <version>5.4.1&l
JMeter进行Apache Kafka负载测试
weixin_30425949的博客
05-11 1080
1.卡夫卡负载测试 在这个Apache Kafka教程中，我们将了解如何使用Apache JMeter，如何在Apache Kafka上执行Kafka负载测试。此外，这个Kafka负载测试教程教我们如何配置生产者和消费者，这意味着使用JMeter开发ApacheKafka Consumer和Kafka Producer。最后，我们将看到在Jmeter中构建Kafka负载测试场景。然而，在Ka...
全面指南：使用JMeter进行性能压测与性能优化（中间件压测、数据库压测、分布式集群压测、调优）
m0_74825003的博客
01-06 1152
缓存是一种存储机制，用于临时存储经常访问的数据，以减少数据获取的延迟和降低数据库或后端服务的负载。缓存可以存在于客户端（如浏览器缓存）、服务器端（如内存缓存）或分布式缓存系统中。
微服务系统面经之二: 集群和请求有序性：多级限流：数据表设计：JMeter压测
yxg520s的博客
08-27 1371
实例B在支付之前查询redis缓存或者mysql数据库判断订单是否已经完成，如果完成才允许支付操作，否则fail掉，随后再重发，但是这里就需要保证支付操作的幂等性（多次请求的结果和第一次执行的结果状态相同），参考上面提到的tcp幂等性保证即可。消息的公平性在不同的上下文中可能有不同的含义。在一些情况下，它可能指的是保证消息被处理的顺序与它们到达的顺序相同（先来后到，比如AQS中的公平锁）。在其他情况下，它可能指的是保证每个发送者都有公平的机会让他们的消息被处理，而不是让某些先到的发送者的消息被优先处理。
apisix网关、JMeter压测 —— k8s从入门到高并发系列教程 （八）
fanghailiang2016的博客
09-02 1766
面向外部的大流量的网络请求，我们需要一个api网关——apisix。这样的demo能不能开放出来给用户使用？我们先用JMeter来压测一下吧
Apache Jmeter Kafka Jar包
01-30
Jmeter的外部jar包，放到在lib/ext目录中，启动Jmeter添加Java Request即可。
jmeter.backendlistener.kafka-1.0.1.jar
08-23
jmeter后端侦听器kafka 一个JMeter插件，使您可以将测试结果发送到Kafka服务器
JMeter向kafka发送数据
qq_48811377的博客
09-27 907
项目测试服务消费Kafka能力，需要消费特定格式的数据，因此要向Kafka中灌入数据，给老铁们分享下jmeter向kafka发送数据方法：1. 首先在jmeter如下目录中导入一个kafka相关的jar包，如图：2. 导入之后就可以打开JMeter进行操作了，首先在线程组中添加一个java请求：在java请求中Class name选择kafkaProducerSampler中，然后配置好Kafka的相关参数：kafka_brokers：kafka地址kafka_topic：传入的主题。
jmeter简单压测kafka
zwrlj527的专栏
12-13 2027
就是笔记，自己备忘，也希望博友一次能找到2个方案，帮到大家。
jmeter集成kafka测试
主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾
10-19 1520
kafkameter-0.2.2 放到jmeter安装路径下的lib/ext中。创建topic 创建topic名为test，分区数为8，副本数为1。通过jmeter集成kafka配置好对应的。以上三个属性对于kafka来讲都很重要。查看kafka的topic。消费者-指定group。
jmeter 压测 kafka
u012954380的博客
09-13 1630
jemter 使用了第三方的依赖包来实现kafka 消息发送 第三方包为kafkameter， 需要使用maven 命令打包，官方有说明 kafkameter-0.2.0.jar 官方地址 jemter 版本 apache-jmeter-5.2 官方地址 将kafkameter-0.2.0.jar 放入到 apache-jmeter-5.2\lib\ext 目录 jemter 添加 java请求 点击启动就可以发送消息了...
JMeter发送数据到Kafka
谜
12-13 8648
最近为了简单做一下性能测试，开始使用JMeter了，因为要先往Kafka中灌入数据，毕竟没用过JMeter，就在网上各种搜，发现写的都不是自己所需要的那种，即使是有的博客看着好像是符合自己要求，但是还要自己操作导包，好麻烦…于是就像部门的测试请教了一下，轻松2步搞定。 首先在jmeter如下目录中导入一个kafka相关的jar包，如下图： jar包免费下载地址：资源正在审核，待审核完成补充上。...
使用JMeter进行Apache Kafka负载测试
hlsxjh的博客
07-10 864
fixture是在测试函数运行前后，由pytest执行的外壳函数。fixture中的代码可以定制，满足多变的测试需求，包括定义传入测试中的数据集、配置测试前系统的初始状态、为批量测试提供数据源等等。fixture是pytest的精髓所在，类似unittest中setup/teardown，但是比它们要强大、灵活很多，它的优势是可以跨文件共享。fixture的名字直接作为测试用例的参数，用例调用fixture的返回值，直接将fixture的函数名称当做变量名称；如果用例需要用到多个fixture的返回数据，f
如何用jmeter发kafuka请求
07-02
在JMeter中配置和发送Kafka请求需要通过插件支持，并按照特定的步骤进行设置。以下是详细的配置和操作流程： ### 配置JMeter以支持Kafka请求 1. **下载并安装JMeter** 确保已经安装了Apache JMeter。如果尚未安装，可以从[官网](https://jmeter.apache.org/)下载最新版本。 2. **添加Kafka插件** 为了使JMeter能够与Kafka交互，需要将`kafkameter.jar`文件放入JMeter的`lib/ext`目录中。该插件提供了对Kafka Producer和Consumer的支持[^2]。 3. **重启JMeter** 安装完插件后，重新启动JMeter，以便加载新的插件库。 ### 配置Kafka Producer 1. **创建线程组** 在JMeter界面中，右键测试计划，选择“添加 > 线程（用户）> 线程组”。线程组用于定义并发用户的数量及执行行为。 2. **添加Kafka Producer Sampler** 在线程组中，右键选择“添加 > 取样器 > Kafka Producer Sampler”。这是用于向Kafka发送消息的核心组件。 3. **配置Producer参数** 在Kafka Producer Sampler中填写以下关键参数： - **Broker List**：输入Kafka集群的地址列表，格式为`host:port`，多个地址用逗号分隔。 - **Topic Name**：指定要发送消息的目标主题名称。 - **Message**：输入要发送的消息内容，可以是静态文本或使用变量动态生成。 - **Key**（可选）：如果消息需要指定键值，则在此处填写。 - **Serializer Class**：选择合适的消息序列化类，如`kafka.serializer.StringEncoder`用于字符串类型的数据[^4]。 4. **添加监听器（可选）** 如果需要查看发送结果或记录日志，可以在取样器下添加监听器，例如“查看结果树”或“聚合报告”。 ### 发送Kafka请求 - **运行测试** 点击工具栏中的启动按钮（绿色三角形），开始执行测试计划。JMeter会根据配置的线程数和循环次数向Kafka发送消息。 - **验证消息是否成功发送** 可以通过Kafka自带的消费者命令行工具或其他消费端程序订阅相应的主题，检查消息是否被正确接收。 - **非GUI模式运行（推荐用于压测）** 对于大规模压力测试，建议使用非GUI模式运行JMeter测试脚本，命令如下： ```bash jmeter -n -t your_test_plan.jmx -l output_result.jtl ``` 其中，`-n`表示非GUI模式，`-t`指定测试脚本路径，`-l`指定输出结果文件路径[^3]。 ### 示例代码片段（Kafka Producer配置） ```java // Kafka Producer配置示例（Java伪代码） Properties props = new Properties(); props.put("metadata.broker.list", "broker1:9092,broker2:9092"); props.put("serializer.class", "kafka.serializer.StringEncoder"); props.put("key.serializer.class", "kafka.serializer.StringEncoder"); ProducerConfig config = new ProducerConfig(props); Producer<String, String> producer = new Producer<>(config); KeyedMessage<String, String> message = new KeyedMessage<>("your_topic_name", "your_message_key", "your_message_value"); producer.send(message); ``` ###
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智真s

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值