kafka性能测试

最新推荐文章于 2024-09-13 15:54:22 发布
最新推荐文章于 2024-09-13 15:54:22 发布
阅读量888 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： kafka 性能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dkcgx/article/details/49924391
本文详细介绍了在Ubuntu12.04环境下，使用Kafka进行单机部署，并通过模拟线上日志大小进行性能测试。测试结果显示，在逐条读写模式下，Kafka能够达到每秒1200条记录的写速度和1300条记录的读速度；而在批量读写模式下，性能进一步提升，写速度达到20000条记录/秒，读速度为15000条记录/秒。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、环境

Ubuntu 12.04

4核4G虚拟机

100M网卡

2、配置

原生配置，单broker。使用kafka自带的zk服务。

3、性能

模拟线上日志大小，单条600b

 

逐条读写（50w记录）:

Write       1200条/s

Read        1300条/s

 

批量读写（100w记录）：

Write        20000条/s

Read         15000条/s

 

Kafka性能测试
喝醉酒的小白
12-29 1236
Kafka 配置了消息的保留策略，可以是基于时间的（例如，保留7天），也可以是基于大小的（例如，保留到50GB）。如果消息超过了保留策略的限制，它们会被自动删除。在 Kafka 中，每个分区（Partition）的数据存储由几个关键文件组成，这些文件共同维护了分区的数据和索引信息。这些文件和目录是 Kafka 数据目录中的一部分，它们与 Kafka 的日志管理、副本同步和恢复机制有关。这些文件和目录是 Kafka 正常运行的关键部分，它们确保了数据的持久化、日志的清理、副本的同步以及消费者的正确恢复。
Kafka：压测模拟
最新发布
喝醉酒的小白
06-25 565
类型Topic消息数单条大小总体积工具统计方式大量生产big_tp5,000,000200KB~950GB小量生产small_tp5002KB~1MB大量消费统计big_tp期望500wkcat + wcwc -l计数小量消费统计small_tp期望500kcat + wcwc -l计数如需将这批命令打包为一键脚本、添加日志输出或监控集成（如 Prometheus 抓取生产/消费速率），我可以继续补充，是否需要？终端1：模拟大量生产终端2：模拟小量生产。
kafka的性能测试
allen的博客
06-09 630
扔这里面记录下./bin/kafka-topics.sh --create --zookeeper 10.104.109.176:2188,10.104.86.238:2188,10.104.122.21:2188 --replication-factor 2 --partitions 6 --topic kafkatest./bin/kafka-producer-perf-test.sh \ -
KAFKA性能测试
司马班如
12-12 1384
KAFKA性能测试一、生产者性能测试二、消费者性能测试 Kafka集群提供了一个kafka-producer-perf-test.sh、kafka-consumer-perf-test.sh脚本为生产者、消费者提供性能测试，有一系列的参数，我们的性能测试是基于这两个脚本来进行的，分别来测试一下。 一、生产者性能测试 $KAFKA_HOME/bin/kafka-producer-perf-test.sh --topic test666 --record-size 100 --num-records 30000
Kafka设计解析（六）Kafka性能测试方法及Benchmark报告
01-27
第一篇"第二篇第三篇第四篇第五篇本文详细介绍了Kafka性能测试方法及Benchmark报告。Kafka提供了非常多有用的工具，如Kafka设计解析（四）-Kafka HighAvailability（下）中提到的运维类工具——PartitionReassign ...
Kafka性能测试实例1
08-03
Kafka性能测试实例1 Kafka作为一个分布式流媒体平台，需要在高数据量和高并发情况下保证其性能和稳定性。为了提高Kafka集群的性能和稳定性，需要从生产者和消费者两方面进行性能测试。本文将从生产者和消费者两方...
kafka性能测试案例 —— 筑梦之路
筑梦之路
07-22 618
以写入100w条MQ消息为例，每秒平均向kafka写入了4.77MB的数据，平均4999.725条消息/秒，每次写入的平均延迟为0.51毫秒，最大的延迟为481毫秒适当调大 batch.size和 linger.ms：这两个参数是配合起来使用的，目的就是缓存更多的数据，减少客户端发起请求的次数。这两个参数根据实际情况调整，注意要适量。关闭数据发送确认机制：适用于对数据完整性要求不高的场景，比如日志，丢几条无所谓那种。
kafka及其性能测试
01-22
kafka及其性能测试 kafka及其性能测试 kafka及其性能测试 kafka及其性能测试 kafka及其性能测试 kafka及其性能测试
Kafka 性能测试脚本详解
六开箱
03-25 1114
Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下： - 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-producer-perf-test.sh - 消费者性能测试脚本：$KAFKA_HOME/bin/kafka-consumer-perf-test.sh 支持测试的性能指标包括：吞吐量（throughput）、最大时延（max-latency）、平均时延（avg-latency）等。
Kafka的性能监控
weixin_42225792的博客
08-20 490
Kafka Eagle 1.修改 Kafka 启动命令 修改 kafka-server-start.sh 命令中 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi 为 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX
kafka性能基准测试
强者的博客
09-24 960
kafka性能基准测试 转载请注明出处：http://www.cnblogs.com/xiaodf/ 1、测试环境 该benchmark用到了六台机器，机器配置如下 l  IntelXeon 2.5 GHz processor with six cores l  Six7200 RPM SATA drives l  32GB ofRAM l  1GbEthernet 这6台机器其中
kafka性能测试、性能分析与性能调优
热门推荐
李文良的博客
08-23 5万+
前言：最近在做kafka、mq、redis、fink、kudu等在中间件性能压测，压测kafka的时候参考了这篇文章，大家可以借鉴下！ 一、测试环境 测试使用到三台机器，机器配置如下： 共同配置： Intel® Core™ i7-7700 CPU @ 3.60GHz、Cores:4、Threads:2 32GB内存 1000Mb/sec网卡 差异化配置 2TB、7200rpm、SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s) 1TB、7200rpm、SATA 3.1, 6.0Gb
Kafka| 性能测试工具
qq_37080417的博客
09-13 536
throughput乘以record-size 最大吞吐1000MB/s，实际服务器硬盘最高200～300MB/s,配置1GB/s只是为了压测硬件io上限。使用./kafka-consumer-perf-test.sh消费工具测试消费这么多数据要多长时间。使用./kafka-producer-perf-test.sh工具往test里插入数据。--record-size: 每条消息的大小 设置为10000，等于10KB。--throughput为qps: 10万QPS。通过io命令观察磁盘写入情况。
kafka 性能测试
08-21
关于Kafka的性能测试，您可以考虑以下几个方面： 1. 压力测试：通过模拟大量并发请求，测试Kafka在高负载情况下的性能表现。您可以使用工具如Apache JMeter、Kafka Load Testing Tool等来进行压力测试。 2. 吞吐量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值