生产测试kafkaMirrorMaker同步效率

最新推荐文章于 2025-03-17 17:49:50 发布

性感小毛裤。

最新推荐文章于 2025-03-17 17:49:50 发布

阅读量807

点赞数

分类专栏： kafka 文章标签： kafka 大数据

本文链接：https://blog.youkuaiyun.com/qq_44912070/article/details/105816239

版权

在跨机房迁移kafka集群的背景下，进行了kafkaMirrorMaker的同步效率测试。测试环境中，源端和目的端均为0.9版本kafka，目的端配置为单节点，CPU8核，内存15GB。通过调整KafkaMirrorMaker的消费者参数，并在目的端启动，观察到每分钟同步约15万条数据，注意offset提交频率和lag条数。测试了不同带宽、延迟、数据大小和量级下的同步效率和积压情况，得出结论：stream-num不应大于topic*partition数量，且根据目标端压缩需求配置compression.codec参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

生产测试kafkaMirrorMaker同步效率

背景：由于需要跨机房迁移kafka集群，进行数据同步的效率测试

kafka版本
源端和目的端同为0.9版本kafka
环境准备
目的端搭建测试kafka单节点一台
机器配置信息：CPU=8；内存=15G

MIRRORMAKER消费者参数配置
vi mirror-consumer.properties

zookeeper.connect=ip:2181,ip:2181
#consumer group id
group.id=MirrorGroupTest
auto.offset.reset=largest
#smallest

	注意：0.9版本的消费端一些参数是不可用的，可以去掉
![无效参数](https://img-blog.csdnimg.cn/20200430102902266.png)

MIRRORMAKER生产者参数配置
vi  mirror-producer.properties

bootstrap.servers=ip:9092
# specifies whether the messages are sent asynchronously (async) or synchronously (sync)
producer.type=sync
# specify the compression codec for all data generated: none, gzip, snappy, lz4.
# the old config values work as well: 0, 1, 2, 3 for none, gzip

最低0.47元/天解锁文章