最近在开发的过程中用到kafka做消息中间件,在测试高并发的时候,发现了一系列的问题。这两天也明白一点,做出产品跟做好产品是两回事!程序能跑起来跟程序能稳定运行更是两回事!
开发的过程中,只要测试数据能否通,业务逻辑能不能被执行,只需要测试小数据量。但是程序开发完成后,性能测试是另一个工作。
- 第一个问题:kafka生产者数据包丢失
这个原因大多是生产者配置没配好,kafka的通信有接收到数据之后发出的确认接收的信号
acks:
(1)acks=0: 设置为0表示producer不需要等待任何确认收到的信息
(2)acks=1: 至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入
(3)acks=all:leader需要等待所有备份都成功写入日志,这种策略会保证只要有一个备份存活就不会丢失数据
request.required.acks
(1)0: 表示producer从来不等待来自broker的确认信息
(2)1:表示获得leader replica已经接收了数据的确认信息,这个选择时延较小同时确保了server确认接收成功。
(3)-1:producer会获得所有同步replicas都收到数据的确认,同时时延最大
我给出自己的配置,在10000/s并发下,可以保证可靠性
props.put("compression.type", "gzip");
props.put("linger.ms", "50");
props.put("acks", "all");
props.put("retries ", "30");
props.put("reconnect.backoff.ms ", "20000");
props.put("retry.backoff.ms", "20000");
props.put("metadata.broker.list", brokerlist);
props.put("serializer.class", "kafka.seria

在开发使用Kafka作为消息中间件的项目时,遇到高并发下数据包丢失和消费者掉线的问题。文章探讨了acks配置对Kafka生产者数据可靠性的影响,以及解决消费者掉线的两种策略:调整Zookeeper会话超时时间和通过队列控制消费速度。提出了在队列满时增加sleep策略以避免数据堆积。
最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



