kafka消息不丢失

1.broker数据不丢失

kafka集群中，topic的分区数据存在多个副本。
生产者通过分区的leader写入数据后，所有在ISR中follower都会从leader中复制数据，这样，可以确保即使leader崩溃了，其他的follower的数据仍然是可用的。

2.生产者数据不丢失

ACK=-1（或ALL）,所有节点都接收到数据（leader和follower都接收到数据）
ACK=1，表示leader收到数据（leader）
ACK=0，生产者只负责发送数据，不关心数据是否丢失（这种情况可能会产生数据丢失，但是性能是最好的）
生产者可以采用同步和异步两种方式发送数据
同步：发送一批数据给kafka后，等待kafka返回结果
异步：发送一批数据给kafka,只是提供一个回调函数
说明：如果broker迟迟不给ack,而buffer又满了，开发者可以设置是否直接清空buffer中的数据

3.消费者消息不丢失

在消费者消费数据的时候，只要每个消费者记录好offset值即可，就能保证数据不丢失。比如，offset提交成功，但是写入mysql数据失败，就会导致消费者数据丢失。

在kafka中，消息是会被定期清理的。一次删除一个segment段的日志文件。（默认清理7天的数据）。
kafka的日志管理器，会根据kafka的配置，来决定哪些文件可以被删除。