Kafka重复消费，不丢失数据

清风千雨

于 2019-09-16 22:01:24 发布

阅读量744

点赞数

分类专栏： kafka

本文链接：https://blog.youkuaiyun.com/qq_33598343/article/details/100900055

版权

本文探讨了在Kafka中如何解决重复消费和防止数据丢失的问题。Kafka 0.11.0.0版本支持精确一次处理语义。针对重复消费，可以通过设置offset自动提交为false，结合幂等producer和事务来实现幂等性。为避免数据丢失，生产者可以设置同步模式确保所有副本成功，消费者可利用WAL和checkpoint保证数据完整性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka0.11.0.0版本正式支持精确一次处理语义exactly once semantic–EOS
kafka幂等性参考
1）幂等producer 保证单个分区的只会发送一次，不会出现重复消息
2）事务(transation)：保证原子性的写入多个分区，即写入到多个分区的消息要么全部成功，要么全部回滚
3）流式EOS：流处理本质上可看成是“”读取-处理-写入的管道“”。此ＥＯＳ保证整个过程的操作是原子性。注意，只使用kafka Stream

https://blog.youkuaiyun.com/qq_35078688/article/details/86082858
https://www.cnblogs.com/jingangtx/p/11330338.html

1.如何解决重复消费

重复问题：rebalance问题,
1.通常会遇到消费的数据处理很耗时，导致超过了Kafka的session timeout时间（0.10.x版本默认是30秒），那么就会rebalance重平衡，此时有一定几率offset没提交，会导致重平衡后重复消费。
2.或者关闭kafka时，如果在close之前，调用consumer.unsubscribe()则可能有部分offset没提交，下次重启会重复消费。
3.消费程序和业务逻辑在一个线程，导致offset提交超时。

最低0.47元/天解锁文章