如何在 Amazon MWAA 中实现 backfill

Amazon MWAA (Managed Workflows for Apache Airflow) 是一项由亚马逊云科技提供的全托管式 Apache Airflow 服务，它简化了数据管道和工作流的编排与调度。作为一项完全托管的服务，Amazon MWAA 为用户省去了设置、扩展和管理 Airflow 环境的复杂性，让数据工程师和数据科学家能够专注于构建工作流而非维护基础设施。

但是，在 Amazon MWAA 中使用 Airflow 命令行与自部署开源 Airflow 相比，存在几个关键区别：

• Amazon MWAA: 不提供直接的 SSH 访问。您需要通过 AWS CLI 命令 aws mwaa create-cli-token 获取令牌，然后使用 API 调用或通过 MWAA 控制台的 Airflow UI 中的命令行界面执行 Airflow 命令。
• 自部署 Airflow: 可以直接 SSH 到服务器，在命令行中直接执行 airflow 命令。

因此在，MWAA 中实现 backfill 的操作方式会与自建的 Airflow 有所不同。下面我们来介绍如何在 Amazon MWAA 中实现 backfill 的方法：

步骤

1. 获取 Token 令牌

aws mwaa create-cli-token --name <your-environment-name>

这里 your-environment-name 对应的就是我们创建的 MWAA 集群名称。

2. 在步骤1获得的 Token 做为当前步骤的输入。

curl -X POST "https://{CLI-endpoint}/aws_mwaa/cli" \
-H "Authorization: Bearer {TOKEN}" \
-d "dags backfill --start-date 2023-01-01 --end-date 2023-01-10 your_dag_id"

• CLI-endpoint ：Amazon MWAA UI 的域名
• TOKEN: 第1步返回的 token
• your_dag_id: 需要执行 backfill 的 DAG ID

如下图，通过调用 aws_mwaa cli 运行 backfill 命令之后，在页面上会出现 Run Type 为 backfill 类型的作业。