kafka幂等性_kafka开启幂等性-优快云博客

本文探讨了Kafka生产者在发送消息到分区时可能遇到的重复消息问题。当ACK响应失败，未开启幂等性时，可能会导致消息重复。为解决此问题，Kafka提供了幂等性设置，通过pid和sequencenumber确保消息不被重复保存。开启幂等性后，生产者重试时，Kafka会检查pid和sequencenumber来避免保存重复消息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

生产者重复生产消息问题：
kafka生产者生产消息到到partition，如果直接发送消息，kafka会将消息保存到分区中，但kafka会返回一个ack给生产者，表示当前操作是否成功，是否已经保存了这条消息。如果ACK响应的过程失败了，此时生产者会重试，继续发送成功的消息，假如没有开启幂等性，则kafka又会保存一条一模一样的消息。
在kafka中可以开启幂等性：props.put(“enable.idempotence”，true)
当kafka的生产者生产消息时，会增加一个pid(生产者的唯一编号)和sequence number(针对消息的一个递增序列)发送消息，会连着pid和sequence number一块发送kafka接收到消息，会将消息和pid,sequence number一并保存下来。
如果ACK响应失败，生产者重试，再次发送消息时，kafka会根据pid和sequence number检查是否需要再保存一条消息，需要判断生产者发送过来的sequence number是否小于等于partition中对应的sequence，如果小于等于则不保存，大于则保存。