Kafka重试与提交相关知识

消费者收到消息后的提交方式：

Kafka消费者的偏移量提交方式默认是‌自动提交‌‌，具体机制如下：

---

‌自动提交机制‌

1. ‌触发条件‌
   消费者客户端默认开启自动提交，通过参数enable.auto.commit=true控制，默认每5秒（auto.commit.interval.ms=5000）提交一次偏移量‌。

2. ‌特点‌

   • ‌优点‌：无需开发者干预，简化代码逻辑‌。
   • ‌缺点‌：可能导致消息重复消费（如提交偏移量后，消费者尚未处理完消息时发生故障或再均衡）‌。

---

‌手动提交模式‌

1. ‌配置方式‌
   需显式设置enable.auto.commit=false，并通过消费者API手动调用以下方法：

   • ‌同步提交‌：consumer.commitSync()（阻塞线程直至提交完成）‌。
   • ‌异步提交‌：consumer.commitAsync()（非阻塞，但需处理回调异常）‌。

2. ‌适用场景‌

   • 要求‌精确控制消息处理与偏移量一致性‌的场景（如金融交易、数据一致性敏感业务）‌。
   • 避免重复消费或消息丢失‌。

注意以下几点：

1. ‌消费者提交偏移量过早‌：如果消费者在处理消息之前就提交了偏移量，那么在处理失败的情况下，消息将会丢失‌。为了避免这种情况，应确保在消息处理完成后再提交偏移量。

2. ‌消费者处理时间过长‌：如果消费者处理消息的时间过长，超过了max.poll.interval.ms（通常默认为5分钟）的设置，Kafka会认为该消费者已经死亡，从而触发再平衡（rebalance），导致消息被重新分配给其他消费者，从而可能导致重复消费‌。可以通过调整max.poll.interval.ms参数来延长处理时间窗口，或者通过其他机制确保消费者在处理完消息后再提交偏移量。

3. ‌消费者崩溃‌：如果消费者在处理消息过程中崩溃，且未能在崩溃前提交偏移量，那么在重启后，Kafka会从上次提交的偏移量处重新开始消费，可能导致重复消费‌。为了避免这种情况，可以在消费者崩溃后通过API查询并恢复上次消费的偏移量，或者设计重试机制确保消息处理成功后再提交偏移量。