16、利用 Apache Airflow 自动化机器学习流程

利用 Apache Airflow 自动化机器学习流程

1. 部署与配置 MWAA 环境

在完成必要资源和先决条件的部署后，我们可以着手配置 MWAA 环境，具体步骤如下：
1. 打开 MWAA 控制台（https://console.aws.amazon.com/mwaa/home），点击“创建环境”按钮。
2. 在“指定详细信息”页面，滚动到“Amazon S3 中的 DAG 代码”部分，点击“浏览 S3”按钮选择数据存储桶。
3. 在“选择 S3 存储桶”窗口中，选中名为 abalone-data-<REGION>-<ACCOUNT ID> 的存储桶旁边的单选按钮，然后点击“选择”。
- 注意：确保存储桶名称中的 <REGION> 和 <ACCOUNT ID> 与你的环境匹配。
4. 点击“选择”后返回“指定详细信息”页面，点击“DAG 文件夹”部分下的“浏览 S3”按钮，打开“S3 中选择 DAG 路径”窗口。
5. 点击“airflow”文件夹将其打开。
6. 打开“airflow”文件夹后，选中“dags”文件夹旁边的单选按钮。
7. 选中“dags”文件夹后，点击“选择”按钮返回上一屏幕。
8. 点击“可选的需求文件”部分下的“浏览 S3”按钮，选择 requirements.txt 文件的位置。
9. 重复步骤 5 和 6，但这次选中 requirements.txt 文件旁边的单选按钮。
10. 选