书山有路，学海无涯。记录成长，追逐梦想

Apache Kafka 是一种高吞吐、分布式的流处理平台，由 LinkedIn 开发并于 2011 年开源。它具有高伸缩性、高可靠性和低延迟等特点，因此在大型数据处理场景中备受青睐。Kafka 可以处理多种类型的数据，如事件、日志、指标等，广泛应用于实时数据流处理、日志收集、监控和分析等领域。

Partition 中的消息序列是有序的消息序列。Kafka 在 Partition 使用偏移量（Offset）来指定消息的位置。一个 Topic 的一个 Partition 只能被一个 Consumer Group 中的一个 Consumer 消费，同组的多个 Consumer 消费同一个 Partition 中的数据是不允许的；但是一个 Consumer 可以消费多个 Partition 中的数据。

Kafka 中的消息是存储在磁盘上的，一个分区副本对应一个 日志（Log）。为了防止 Log 过大，Kafka 又引入了 日志分段（LogSegment）的概念，将 Log 切分为多个 LogSegment ，相当于一个巨型文件被平均分配为多个相对较小的文件，这样也便于消息的维护和清理。事实上，Log 和 LogSegment 也不是纯粹物理意义上的概念，Log 在物理上只以文件夹的形式存储，而每个 LogSegment 对应于磁盘上的一个日志文件和两个索引文件，以及可能的其他文件。

应用往 Kafka 写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？

Kafka 是使用 Scala 编写的运行于 JVM 上的程序，虽然也可以在 Windows 上使用，但是 Kafka 基本上是运行在 Linux 服务器上，因此我们这里也使用 Linux 来开始今天的实战。首先确保你的机器上安装了 JDK，Kafka 需要 Java 运行环境，以前的 Kafka 还需要 Zookeeper，新版的 Kafka 已经内置了一个 Zookeeper 环境，所以我们可以直接使用。

RabbitMQ 是目前应用相当广泛的消息中间件（其他同类的消息处理中间件有 ActiveMQ、Kafka 等）。在企业级应用、微服务应用中，RabbitMQ 担当着十分重要的角色。例如，在业务服务模块中解耦、异步通信、高并发限流、超时业务、数据延迟处理 等都可以使用 RabbitMQ。

你也许会问，为什么我们接收到未知消息的时候不抛出一个错误，而是要将它忽略掉？这是为了解决服务器端有可能发生的竞争情况。尽管可能性不大，但 RPC 服务器还是有可能在已将应答发送给我们但还未将确认消息发送给请求的情况下杀掉。如果这种情况发生，RPC 在重启后会重新处理请求。这就是为什么我们必须在客户端优雅的处理重复响应，同时 RPC 也需要尽可能保持幂等性。