kafka性能测试

最新推荐文章于 2025-01-08 17:44:18 发布
原创 最新推荐文章于 2025-01-08 17:44:18 发布 · 699 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文通过调整JVM内存配置，测试了不同消息大小下Kafka的吞吐量性能。结果显示，在硬盘成为瓶颈的情况下，增大JVM内存能显著提高TPS。

版本0.10.1.1

kafka  broker的JVM默认是使用1G的内存

./bin/kafka-producer-perf-test.sh --topic test-pati3-rep2 --throughput 500000 --num-records 1500000 --record-size 1000 --producer.config config/producer.properties --producer-props bootstrap.servers=10.1.8.16:9092,10.1.8.15:9092,10.1.8.14:9092 acks=1

包括ack=all 和ack=1两种测试，消息大小为1000，TPS大概为6W

修改JVM到4G后的压测

消息大小为1000或500 ack=1 TPS在消息大小为1k的时候大概是8W,消息大小为500的时候TPS大概为16W


由此可以看出此机器的瓶颈在硬盘上，而kafka对硬盘的性能要求最高，如有机会再SSD上进行一下测试，效果应该更好。

Kafka入门(4) -- kafka基准测试
erainm
09-15 439
1. 基准测试 基准测试（benchmark testing）是一种测量和评估软件性能指标的活动。我们可以通过基准测试，了解到软件、硬件的性能水平。主要测试负载的执行时间、传输速度、吞吐量、资源占用率等。 1.1 基于1个分区1个副本的基准测试 测试步骤： 启动Kafka集群 创建一个1个分区1个副本的topic: benchmark 同时运行生产者、消费者基准测试程序 观察结果 1.1.1 创建topic bin/kafka-topics.sh --zookeeper node1:2181 --c
Kafka 性能测试脚本详解
六开箱
03-25 1153
Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下： - 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-producer-perf-test.sh - 消费者性能测试脚本：$KAFKA_HOME/bin/kafka-consumer-perf-test.sh 支持测试的性能指标包括：吞吐量（throughput）、最大时延（max-latency）、平均时延（avg-latency）等。
Kafka各个指标的性能测试
文艺的码农青年的博客
08-03 1406
一、测试环境 二、测试工具 Kafka系统提供了测试工具kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh，在kafka安装的bin目录下，通过该工具可以对生产者性能和消费者性能进行测试，获取一组最佳的参数值，进而提升生产者的发送效率和消费者的读取效率。 三、生产者测试 创建一个拥有3个分区、1个副本的topic，设置不同的线程数发送相同的数量，查看性能变化。脚本如下： ./kafka-producer-perf-test.sh --topic
Kafka 性能测试
qq_29342297的博客
03-09 834
Kafka 性能测试(基于Kafka 2.2.1版本) Producer 测试 1. 不同压缩算法对数据发送性能的影响 测试命令 3 broker , 2 replication , numRecords 500w , throughput 100w , recordSize 256byte bin/kafka-producer-perf-test.sh --producer-props bootstrap.servers=master:9092 compression.type=none --top
Kafka性能测试
最新发布
前方的路在刚开始
01-08 1683
kafka是一个大数据消息队列（可以看做为缓存软件）：能够读写数据：1、测试生产者每秒往kafka写入的最大吞吐量 2、测试消费者每秒从kafka里获取消息最大吞吐量。
Kafka设计解析（六）Kafka性能测试方法及Benchmark报告
01-27
第一篇"第二篇第三篇第四篇第五篇本文详细介绍了Kafka性能测试方法及Benchmark报告。Kafka提供了非常多有用的工具，如Kafka设计解析（四）-Kafka HighAvailability（下）中提到的运维类工具——PartitionReassign ...
Kafka性能测试实例1
08-03
Kafka性能测试实例1 Kafka作为一个分布式流媒体平台，需要在高数据量和高并发情况下保证其性能和稳定性。为了提高Kafka集群的性能和稳定性，需要从生产者和消费者两方面进行性能测试。本文将从生产者和消费者两方...
kafka及其性能测试
01-22
在进行Kafka性能测试时，可以使用JConsole通过JMX（Java管理扩展）来查看Kafka服务器的性能指标，这是最直接的方法之一。除此之外，还可以使用YammerMetrics来报告服务端和客户端的性能指标，或使用Kafka Manager来...
Kafka压力测试
weixin_42796403的博客
12-09 733
Kafka压力测试 一、Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈**（CPU，内存，网络IO）。一般都是网络IO达到瓶颈**。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 二、Kafka Producer压力测试 （1）在/opt/module/kafka/bin目录下面有这两个文件 [hadoop@hadoop102 kafka]$ bin/kafka-prod
kafka性能测试、性能分析与性能调优
热门推荐
李文良的博客
08-23 5万+
前言：最近在做kafka、mq、redis、fink、kudu等在中间件性能压测，压测kafka的时候参考了这篇文章，大家可以借鉴下！ 一、测试环境 测试使用到三台机器，机器配置如下： 共同配置： Intel® Core™ i7-7700 CPU @ 3.60GHz、Cores:4、Threads:2 32GB内存 1000Mb/sec网卡 差异化配置 2TB、7200rpm、SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s) 1TB、7200rpm、SATA 3.1, 6.0Gb
Kafka性能测试初探
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
05-05 566
相信大家对Kafka不会陌生，但首先还是要简单介绍一下。Kafka是一种高性能的分布式消息系统，由LinkedIn公司开发，用于处理海量的实时数据流。它采用了发布/订阅模式，可以将数据流分发到多个消费者端，同时提供了高可靠性、高吞吐量和低延迟的特性。Kafka的应用场景非常广泛，例如日志收集、事件流处理、实时监控等。在这些场景中，Kafka可以提供高可靠性和低延迟的数据传输，确保数据的稳定性和实时性。与此同时，Kafka还提供了丰富的API和管理工具，使得用户可以方便地配置和管理Kafka集群。
KAFKA性能测试
司马班如
12-12 1447
KAFKA性能测试一、生产者性能测试二、消费者性能测试 Kafka集群提供了一个kafka-producer-perf-test.sh、kafka-consumer-perf-test.sh脚本为生产者、消费者提供性能测试，有一系列的参数，我们的性能测试是基于这两个脚本来进行的，分别来测试一下。 一、生产者性能测试 $KAFKA_HOME/bin/kafka-producer-perf-test.sh --topic test666 --record-size 100 --num-records 30000
Kafka测试及性能调优详细总结
airfish20000的博客
08-20 2万+
Kafka性能测试     测试背景   由于业务需求，针对kafka在不同参数下的性能进行测试。从而进行kafka性能调优   测试目标   测试kafka 0.8n的性能(Producer/Consumer性能)。当消息大小、批处理大小、压缩等参数变化时对吞吐率的影响。   测试环境 软件版本：kafka 0.8.1.1 硬件环境：3台多云服务组成的kafka集群
kafka 压力测试
不言尘世
05-25 438
1）Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2）Kafka Producer压力测试 （1）在/opt/module/kafka/bin目录下面有这两个文件。我们来测试一下 [atguigu@hadoop102 kafka]$ bin/kafka-producer-pe
kafka 测试
java_leaf的博客
05-07 468
kafka 测试 ./bin/kafka-server-start.sh -daemon config/server.properties ./bin/kafka-topics.sh --list --zookeeper localhost:2181 kafka启动（需要先启动zk）下面是查看主题 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 ./bin/kafka-topics.sh --zookeeper local
kafka测试
qq_41081716的博客
09-30 1999
使用 Kafka 的命令行工具来测试生产者和消费者的连接。查看最新的日志条目，确保没有新的错误或警告信息。查看最新的日志条目，确保没有新的错误或警告信息。如果一切正常，在消费者端看到生产者发送的消息。确保 ZooKeeper 容器正在运行。确保 Kafka 容器正在运行。每个分区可以独立地存储和处理消息。
kafka 性能测试
08-21
关于Kafka的性能测试，您可以考虑以下几个方面： 1. 压力测试：通过模拟大量并发请求，测试Kafka在高负载情况下的性能表现。您可以使用工具如Apache JMeter、Kafka Load Testing Tool等来进行压力测试。 2. 吞吐量测试：测试Kafka在单位时间内能够处理的消息数量。可以通过发送大量消息并记录处理时间来计算吞吐量。同时，可以调整Kafka的配置参数，如分区数量、复制因子等，来观察吞吐量的变化。 3. 延迟测试：测试消息从生产者发送到消费者接收的延迟时间。您可以在消息发送和接收的代码中插入时间戳，并计算两者之间的差值来得到延迟时间。可以通过调整Kafka的配置参数、增加消费者数量等方式来观察延迟的变化。 4. 可用性测试：测试Kafka在出现故障时的可用性。可以模拟节点宕机、网络断开等情况，观察Kafka集群的自动故障转移和恢复能力。 在进行性能测试时，建议注意以下几点： - 确保测试环境与生产环境尽可能相似，包括硬件配置、网络环境等。 - 关注测试结果中的指标，如吞吐量、延迟、丢失率等。 - 注意监控Kafka集群的各项指标，如CPU、内存、网络等的使用情况。 - 尝试不同的场景和配置参数，以获得更全面的性能测试结果。 请注意，以上只是一些常见的性能测试方法，具体测试方案需要根据您的需求和环境来进行调整。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值