AutoMQ：无需 Cruise Control 实现 Kafka 的自动分区再平衡

导读：AutoMQ是一款贯彻云优先理念来设计的 Kafka 替代产品。AutoMQ 创新地对 Apache Kafka 的存储层进行了基于云的重新设计，在 100% 兼容 Kafka 的基础上通过将持久性分离至 EBS 和 S3 带来了 10x 的成本降低以及 100x 的弹性能力提升，并且相比 Apache Kafka 拥有更佳的性能。

在本文中，Vu Trinh 探讨了 AutoMQ 如何通过消除代理之间的数据移动来彻底改变 Kafka 分区重新分配流程。文章首先分析了标准的 Kafka 分区和重新分配过程，以及当前方案（如 Cruise Control）的局限性。接着深入讲解了 AutoMQ 如何利用云原生架构，实现与 Kafka 100% 兼容，并将数据存储在对象存储上，从而简化操作并提高效率。最后，本文详细介绍了 AutoMQ 的 AutoBalancer，它能够精确且轻松地自动实现负载均衡。了解 AutoMQ 如何有效解决 Kafka 的重新平衡挑战。阅读原文：AutoMQ: Achieving Auto Partition Reassignment In Kafka Without Cruise Control

简介

如果你在公司内部管理过 Kafka 部署，可能会执行跨集群分区重新分配操作。由于 Kafka 中计算和存储的紧密耦合，当集群成员发生变化（如添加或移除 broker）或用户希望在 broker 之间平衡负载时，分区副本需要重新分配到不同的 broker，从而导致数据迁移。

虽然 Kafka 提供了处理重新分配过程的脚本，但它需要用户干预，并且在规划方面缺乏稳健性。诸如 Cruise Control 之类的工具，基于集群状态提供自动化的副本平衡，并提供更详细的重新分配规划。

然而，数据迁移的问题仍然存在。

本周，我们将探讨 AutoMQ 如何解决 Kafka 的再平衡挑战。AutoMQ 是一款云原生解决方案，提供 100% Kafka 兼容性，同时将数据完全存储在对象存储中。这种方法提供了一种高性价比的 Kafka 替代方案，同时不牺牲低延迟和高吞吐量性能。更重要的是，您不再需要在 Broker 之间传输数据。

---

Kakfa Partitions

首先让我们回顾Kafka相关术语。

在 Kafka 中，数据单元是消息。消息在 Kafka 中被组织成主题。可以将消息视为数据库系统中的行，而主题则相当于表。一个主题被分成多个分区。

图像由作者创建。

主题的每个分区对应一个逻辑日志。在物理层面，日志实现为一组大小大致相同的段文件（例如，1GB）。每当消息写入分区时，Broker 会将该消息追加到最后一个段文件。

图像由作者创建。

为了确保数据的持久性和可用性，分区将被复制到可配置数量的Broker (代理)。

图像由作者创建。

当一个 Broker（代理）出现故障时，这一机制可以自动执行副本的故障切换，确保消息尽管发生故障仍然可用。每个 Kafka 分区通常有一个 leader（领导者）和零个或多个 followers（跟随者，存储副本的节点）。所有写操作必须发送到分区的 leader，而读操作可以由 leader 或分区的 followers 处理。