第四、五章 Kafka高级API——生产者事务、数据同步机制

Kafka的幂等性，只能保证一条记录的在分区发送的原子性,但是如果要保证多条记录(多分区)之间的完整性,这个时候就需要开启kafk的事务操作。

在Kafka0.11.0.0除了引人的幂等性的概念，同时也引入了事务的概念。通常Kafka的事务分为生产者事务Only、消费者&生产者事务。一般来说默认消费者消费的消息的级别是read_uncommited数据，这有可能读取到事务失败的数据，所有在开启生产者事务之后,需要用户设置消费者的事务隔离级别。

isolation.level = read_uncommitted默认

该选项有两个值read_committed|read_uncommitted,如果开始事务控制，消费端必须将事务的隔离级别设置为read_committed
开启的生产者事务的时候，只需要指定transactional.id属性即可，一旦开启了事务，默认生产者就已经开启了幂等性。但是要求"transactional.id"的取值必须是唯一的,同一时刻只能有一个"transactional.id"存储在，其他的将会被关闭。

数据同步机制

Kafka的Topic被分为多个分区，分区是是按照Segments存储文件块。分区日志是存储在磁盘上的日志序列, Kafka可以保证分区里的事件是有序的。其中Leader负责对应分区的读写、Follower负责同步分区的数据,0.11版本之前Kafka使用highwatermarker机制保证数据的同步，但是基于
highwatermarker的同步数据可能会导致数据的不一致或者是乱序，在Kafka数据同步有以下概念.LEO: log end offset标识的是每个分区中最后一条消息的下一个位置,分区的每个副本都有自己的LEO.
HW: high watermarker称为高水位线,所有HW之前的的数据都理解是已经备份的,当所有节点都备份成功,Leader会更新水