11、在 Vertex AI 上打包模型以提交训练任务

在 Vertex AI 上打包模型以提交训练任务

在机器学习实验中，对于小规模和快速实验，使用笔记本进行操作是非常方便的。然而，当涉及到大规模实验，需要更多计算资源和内存时，将实验作为 Vertex AI 作业启动并指定所需的机器规格（如需要的 GPU 或 TPU 等加速器），可以实现更优化的实验。Vertex AI 作业还允许我们并行执行大量实验，无需等待单个实验的结果，并且实验跟踪也很容易，通过保存的元数据和 Vertex AI 界面，我们可以轻松地将最新实验与过去的实验进行比较。

1. 准备数据

Vertex AI 作业在容器化环境中运行，因此为了启动实验，我们必须将整个代码（包括读取数据、预处理、模型构建、训练和评估）打包到一个脚本中，以便在容器内启动。Google Cloud 提供了大量用于训练和评估的预构建容器映像（为所需的框架如 TensorFlow、PyTorch 等预先安装了依赖项），我们也可以灵活定义自己的自定义容器，包含任何所需的依赖项。

由于之前实验下载的开源数据还未存储在 Google Cloud Storage (GCS) 中，我们需要将预处理后的数据上传到存储桶中，这样可以避免在作业容器中再次准备数据。以下是将准备好的数据保存到 GCS 存储桶的脚本：

from io import BytesIO
import numpy as np
from tensorflow.python.lib.io import file_io
dest = 'gs://data-bucket-417812395597/'  # Destination to save in GCS
# sa