旷野历程

Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 最初是为分布式系统中海量日志处理而设计的。它可以通过持久化功能将消息保存到磁盘，并让消费者按照自己的节奏提取消息。Kafka 不仅仅是一个消息队列，它还是一个开源的分布式流处理平台。

Kafka 采用了批量发送消息的方式，通过将多条消息按照分区进行分组，然后每次发送一个消息集合，看似很平常的一个手段，其实它大大提升了 Kafka 的吞吐量。

大多数MQ系统都提供了消息的确认机制，消费者在成功消费一条消息后，向MQ确认消费完成，MQ才会将消息标记为已消费。在将消息存入MQ时，可以选择持久化消息，确保即使MQ发生故障，消息也不会丢失。消息持久化通常会涉及将消息写入持久化存储，如磁盘文件或数据库。消息队列（MQ）作为一种异步通信机制，可以提供一些机制来尽量保证消息的可靠性，但并不能百分之百地保证消息一定能被消费或存储到数据库中。如果消息消费失败，消费者可以实现重试策略，尝试重新消费失败的消息，直到成功为止。这样可以保证消息最终被处理。

ISR 机制的存在是 kafka 为了平衡可靠性和可用性，不指定提供高可靠或者高可用的服务，而是将决定权交给了使用者，让使用者通过参数来控制，到底要实现什么程度的高可靠与高可用。

在以上这三步中每一步都可能会出现丢失数据的情况， 那么 Kafka 到底在什么情况下才能保证消息不丢失呢？

Producer 端发送消息给 Broker 端Broker 将消息进行并持久化数据Consumer 端从 Broker 将消息拉取并进行消费。

分区是 Kafka 的核心功能，对于 Kafka 的存储结构、消息的生产消费方式都至关重要。