Kafka 幂等性与事务

幂等性

Producer 无论向 Broker 发送多少次重复的数据，Broker 端只会持久化一条，保证数据不丢失且不重复。

实现机制

通过引入ProducerID和SequenceNumber来实现Broker对于每条接收的消息都会验证PID，同时会检查SeqNumber是否比Broker维护的SeqNumber值严格+1，只有符合要求的才是合法的，其他情况都会丢弃。

• ProducerID：Producer初始化时由Broker分配，作为每个Producer会话的唯一标识
• SequenceNumber：Producer发送的每条消息的标识（更准确地说是每一个消息批次，即ProducerBatch），从0开始单调递增。Broker根据它来判断写入的消息是否可接受。

配置使用

Producer设置

• enable.idempotence=true：表示使用幂等性生产者。当enable.idempotence配置为true时，acks必须配置为all。并且建议max.in.flight.requests.per.connection的值小于5。
• acks=all

局限性

• 只能保证 Producer 在单个会话内不丟不重 ，如果 Producer 出现意外挂掉再重启是无法保证的（幂等性情况下，是无法获取之前的状态信息，因此是无法做到跨会话级别的不丢不重）;
• 幂等性不能跨多个 Topic-Partition，只能保证单个 partition 内的幂等性