11、将模型打包为 Vertex AI 训练任务

将模型打包为 Vertex AI 训练任务

在进行机器学习实验时，小型实验可以在笔记本中进行，但对于大规模实验，建议将其作为 Vertex AI 作业启动，并指定所需的机器规格，以实现最佳实验效果。Vertex AI 作业可以并行执行大量实验，并且便于进行实验跟踪。下面将详细介绍如何将模型打包并提交到 Vertex AI 作为训练任务。

1. 数据准备

Vertex AI 作业在容器化环境中运行，因此需要将整个代码（包括数据读取、预处理、模型构建、训练和评估）打包到一个脚本中。由于之前实验下载的开源数据不在 Google Cloud Storage (GCS) 中，所以需要将预处理后的数据上传到存储桶，避免在作业容器中再次准备数据。

以下是将数据保存到 GCS 存储桶的脚本：

from io import BytesIO
import numpy as np
from tensorflow.python.lib.io import file_io

dest = 'gs://data-bucket-417812395597/'  # Destination to save in GCS
# saving training data
np.save(file_io.FileIO(dest+'train_x', 'w'), train_x)
np.save(file_io.FileIO(dest+'train_y', 'w'), train_y)
# saving validation data
np.save(file_io.FileIO(dest+'val_x', 'w'), val_x)
np.s