1. 调整producer的消息确认参数“acks”
- acks为
1时表示只保证leader写入成功,假如leader写入成功后还未将消息同步到follower副本便发生崩溃,会造成消息丢失 - acks为
0时表示生产者只管发送,不管broker是否收到消息,消息丢失概率更大 - acks设置为
-1或者all表示leader以及所有副本都要写入成功,此种情况下还可能会丢失,因为如果min.insync.replicas参数值为1的话,此时ISR只有一个leader副本,此时和acks为1的效果一样。
综上,如果要保证消息不丢失需要将参数acks设置为
-1或者all,同时将参数min.insync.replicas设置为大于1的整数。这种方式可靠性最高,但是性能最为低下
2. 调整producer发送重试此时 retries
- 该参数值的默认值时
0,不进行重试,可以根据业务将retries设置为大于0的整数,同时设置合理的重试间隔retry.backoff.ms。 - 如果消息过大,超过
max.request.size就不能进行重试了,会直接抛出RecordTooLargeException
消息太大了,不会进行重试,直接抛出异常异常。 - 如果重试后或者超过最大消息限制抛出异常了,那么可以将消息记录入库,然后根据实际情况调整后重新发送。
本文探讨了Kafka producer的acks参数和retries设置对消息可靠性的影响。设置acks为-1或all并配合min.insync.replicas大于1能最大程度保证消息不丢失,但可能影响性能。重试机制在某些情况下可防止消息丢失,但需注意消息大小限制。当消息过大或重试失败时,可考虑记录并后续重新发送。
172万+

被折叠的 条评论
为什么被折叠?



