kafka发送消息时弄丢消息怎么办

本文探讨了Kafka producer的acks参数和retries设置对消息可靠性的影响。设置acks为-1或all并配合min.insync.replicas大于1能最大程度保证消息不丢失,但可能影响性能。重试机制在某些情况下可防止消息丢失,但需注意消息大小限制。当消息过大或重试失败时,可考虑记录并后续重新发送。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 调整producer的消息确认参数“acks”

  1. acks为1时表示只保证leader写入成功,假如leader写入成功后还未将消息同步到follower副本便发生崩溃,会造成消息丢失
  2. acks为0时表示生产者只管发送,不管broker是否收到消息,消息丢失概率更大
  3. acks设置为-1或者all表示leader以及所有副本都要写入成功,此种情况下还可能会丢失,因为如果min.insync.replicas参数值为1的话,此时ISR只有一个leader副本,此时和acks为1的效果一样。

综上,如果要保证消息不丢失需要将参数acks设置为-1或者all,同时将参数min.insync.replicas设置为大于1的整数。这种方式可靠性最高,但是性能最为低下

2. 调整producer发送重试此时 retries

  1. 该参数值的默认值时0,不进行重试,可以根据业务将retries设置为大于0的整数,同时设置合理的重试间隔retry.backoff.ms
  2. 如果消息过大,超过max.request.size就不能进行重试了,会直接抛出RecordTooLargeException
    消息太大了,不会进行重试,直接抛出异常异常。
  3. 如果重试后或者超过最大消息限制抛出异常了,那么可以将消息记录入库,然后根据实际情况调整后重新发送。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值