17、Vertex AI 在机器学习部署、预测与治理中的应用

Vertex AI 在机器学习部署、预测与治理中的应用

1. Vertex AI 的计算资源与扩展

Vertex AI 会分配计算节点来处理在线和批量预测。当我们将机器学习模型部署到端点时，可以自定义用于服务模型的虚拟机类型。如果需要，还能选择 GPU 或 TPU 等加速器。计算资源更多的机器配置可以以更低的延迟提供预测服务，从而同时处理更多的预测请求，但这类机器的成本也会高于计算资源较低的机器。因此，根据用例和需求选择最合适的机器至关重要。

在进行在线预测模型部署时，还可以配置预测节点自动扩展，但批量预测的预测节点不会自动扩展。默认情况下，无论是否部署带有专用 GPU 资源的模型，Vertex AI 都会自动增加或减少副本数量，以使 CPU 或 GPU 使用率（以较高者为准）达到默认的 60% 目标值。在这些条件下，即使可能不需要扩展就能实现每秒查询次数（QPS）和延迟目标，Vertex AI 也会进行扩展。我们可以监控端点，跟踪 CPU 和加速器使用率、请求数量、延迟以及当前和目标副本数量等指标。

为了从成本角度确定预测容器的理想机器类型，可以将其部署到虚拟机实例，并通过发出预测请求对实例进行基准测试，直到虚拟机的 CPU 使用率达到约 90%。通过在不同机器上多次进行此实验，就可以根据 QPS 值确定预测服务的成本。

以下是一个简单的流程说明：
1. 选择虚拟机类型：根据模型需求和预算，决定是否使用加速器（如 GPU 或 TPU）。
2. 部署模型到端点：将模型部署到选定的虚拟机实例。
3. 进行基准测试：向部署的模型发出预测请求，监控 CPU 使用率，直到达到约 90%。
4. 多次实验：在不同机器上重复上述步骤