Kafka的事务管理

 

概述

 

Kafka从0.11版本开始支持事务，事务可以保证kafka在Exactly Once的基础上，生产和消费可以跨分区和会话，要么全部成功，要么全部失败。

https://blog.youkuaiyun.com/Delicious_Life/article/details/106889968

 

Producer事务 

 

为了实现跨分区快回话的事务，需要引入一个全局唯一的TransactionID，并将Producer获得的PID和TransactionID绑定，这样当Producer重启后就可以通过正在进行的TransactionID获得原来的PID。

为了管理Transaction，Kafka引入了一个新的组件Transaction Coordinator。Producer就是通过和Transaction Coordinator交换获得的TransactionID对应的任务状态，Transaction Coordinator还负责将事务写入kafka的一个内部topic，这样即使这个服务重启了，由于事务的状态得到了保存，进行中的事务状态也可以得到恢复，从而继续进行

 

 

Consumer事务

 

对于Consumer，事务的保证就会相对较弱，尤其是无法保证Commit的信息被精确消费，这是由于Consumer可以通过offset访问任意信息，而不同的Segment File的生命周期不同，同一事物的消息可能会出现重启后被删除的情况。