「布道师系列文章」小红书黄章衡：AutoMQ Serverless 基石-秒级分区迁移

作者｜黄章衡，小红书消息引擎研发专家

01 引言

Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几乎不具备实时弹性能力。

而得益于 AutoMQ Kafka 的存算分离架构，在实际进行分区迁移时无需搬迁任何数据，这使得将分区迁移时间缩短至秒级成为了可能。
本篇文章将详细解析 AutoMQ 秒级迁移能力对应的原理和源码部分，并在最后讨论秒级迁移能力的应用场景。

02 AutoMQ 分区迁移流程概述

如下图，以分区 P1 从 Broker-0 迁移至 Broker-1 为例，流程分为六步：
ꔷ Step1 构建分区迁移命令： Controller（ReplicationControlManager：AlterPartitionReassign）当 Kraft Controller 收到分区迁移命令时，会构建出相应的 PartitionChangeRecord 并 commit 至 Kraft Log 层，将 Broker-0 从 leader replica 列表中删除，并将 Broker-1 加入 follower replica 列表中。
ꔷ Step2 Broker 同步分区变更： Broker（ElasticReplicaManager：AsyncApplyDelta）Broker-0 同步 Kraft Log 监听到 P1 分区变更，进入分区关闭流程。
ꔷ Step3 元数据持久化与分区 Stream 关闭： Broker (ElasticLog: Close) ElasticLog 为 LocalLog 基于 S3Stream 的实现。ElasticLog 会先持久化分区元数据至 Meta Stream(包括 LeaderEpoch、ProducerSnapshot、SegmentList、StreamIds etc..)，随后将 Meta 和 Data Stream 全部 Close。
ꔷ Step4 数据上传与 Stream 关闭： Stream (S3Stream: Close) 每个 Stream 关闭时，若还存在未上传至对象存储的数据，则会触发强制上传，而在一个稳定运行的集群中，这部分数据往往不超过数百 MB，结合目前云厂商提供的突发网络带宽能力，这个过程一般仅需秒级即可完成。当 Stream 的数据上传完成后，即可安全的上报 Controller 关闭该 Stream 并从 Broker-0 删除分区 P1。
ꔷ Step5 主动重新触发选主： Controller (ReplicationControlManager：ElectLeader) P1 从 Broker 完成关闭后会主动触发一次选主，此时 Broker-1 作为唯一的 replica 晋升为 P1 的 leader，进入分区恢复流程。
ꔷ Step6 分区恢复与数据恢复： Broker (ElasticLog: Apply) 分区恢复时，会先上报 Controller 打开 P1 对应的 Meta Stream，根据 Meta Stream 从对象存储中拉取 P1 对应的元数据，从而恢复出 P1 相应的 checkpoint(Leader Epoch/SegmentList etc..)，后根据 P1 的关闭状态（是否为 cleaned shutdown）进行对应的数据恢复。

03 AutoMQ 分区迁移流程源码解析

接下来我们详细解析分区迁移六步骤的源码，仍然以分区 P1 从 Broker-0 迁移至 Broker-1 为例：

注：AutoMQ 关闭分区前，需要先上报 Controller 关闭分区对应的所有 Stream 使其变为 Closed State，以便分区恢复时能够重新打开 Stream 使其变为 Opened State。这么做的目的是防止脑裂（也即两台 Broker 同时打开同一个 Stream），统一由 Controller 调控 Stream 的 State 和 Owner。 

Step1: Controller 构建分区迁移命令 当 Controller 收到 alterPartitionReassignments 指令时，会构建 PartitionChangeBuilder 将该 Partition 的 TargetISR、Replicas 设置为目标 [1]，但不会直接选举 Leader 而是选择延后选举，以保障选举前分区对应的 Stream 已经正常关闭。

此外，流程中还设置了分区选主超时器，若一段时间内源Broker 没有成功触发选主，则会在 Controller 中主动触发选主。

ReplicationControlManager：changePartitionReassignmentV2 {

    PartitionChangeBuilder builder = new PartitionChangeBuilder(part,
        tp.topicId(),
        tp.partitionId(),
        // no leader election, isAcceptableLeader 直接返回 False，代表不选主
        brokerId -> false,
        featureControl.metadataVersion(),
        getTopicEffectiveMinIsr(topics.get(tp.topicId()).name.toString())
    );
    builder.setZkMigrationEnabled(clusterControl.zkRegistrationAllowed());
    builder.setEligibleLeaderReplicasEnabled(isElrEnabled());
    // 设置 ISR、Replicas 为 [target.replicas().get(0)]
    builder.setTargetNode(target.replicas().get(0));