16、Google Cloud上的ML工作流编排与预测获取指南

Google Cloud上的ML工作流编排与预测获取指南

在机器学习（ML）项目中，工作流编排和模型预测是至关重要的环节。本文将介绍如何使用Google Cloud的相关工具来实现ML工作流的编排以及获取模型预测结果，同时会比较Vertex AI Pipelines和Cloud Composer这两种工作流编排工具，并详细阐述在线预测和批量预测的操作方法。

1. 使用Cloud Composer编排ML工作流

Cloud Composer是基于Apache Airflow开源项目构建的Google Cloud工作流编排服务。它的主要优势在于完全托管，并且能轻松与其他GCP工具集成。借助Cloud Composer，我们可以编写、执行、调度和监控工作流，这些工作流在多云和混合环境中也能得到支持。

1.1 创建Cloud Composer环境

使用Google Cloud控制台UI创建Cloud Composer环境的步骤如下：
1. 启用Cloud Composer API。
2. 从控制台的左窗格中选择Composer，然后点击“Create”开始创建Composer环境。
3. 点击“Create”，创建环境大约需要15 - 20分钟。创建完成后，环境页面将显示可用状态。
4. 点击“Airflow”查看Airflow Web UI。在这个界面中，我们可以看到已经有一个名为 airflow_monitoring 的DAG正在运行。如果我们查看Composer的Cloud Storage存储桶，会发现一个 dags 文件夹，其中有一个 airf