17、Vertex AI 中的 MLOps 治理与部署

Vertex AI 中的 MLOps 治理与部署

1. Vertex AI 计算资源与扩展

Vertex AI 会分配计算节点来处理在线和批量预测。当我们将机器学习模型部署到端点时，可以自定义用于服务模型的虚拟机类型。如果需要，还能选择 GPU 或 TPU 等加速器。计算资源更多的机器配置可以以更低的延迟提供预测服务，从而同时处理更多的预测请求，但这种机器的成本会高于计算资源较低的机器。因此，根据用例和需求选择最合适的机器非常重要。

1.1 自动扩展配置

• 在线预测 ：部署用于在线预测的模型时，可以配置预测节点自动扩展。
• 批量预测 ：批量预测的预测节点不会自动扩展。默认情况下，无论是否部署带有专用 GPU 资源的模型，Vertex AI 都会自动增加或减少副本数量，以使 CPU 或 GPU 使用率（取较高者）达到默认的 60% 目标值。即便在实现每秒查询次数（QPS）和延迟目标可能不需要的情况下，Vertex AI 也会进行扩展。我们可以监控端点，跟踪 CPU 和加速器使用率、请求数量、延迟以及当前和目标副本数量等指标。

1.2 确定理想机器类型

从成本角度确定预测容器的理想机器类型时，可以将其部署到虚拟机实例，并通过发出预测请求对实例进行基准测试，直到虚拟机的 CPU 使用率达到约 90%。通过在不同机器上进行几次这样的实验，就可以根据 QPS 值确定预测服务的成本。

2. MLOps 治理概述

在快速发展的数字时代，机器学习（ML）解决方案的成功实施不仅在于创建