ZenML项目GCP云平台集成指南：从零搭建机器学习生产环境-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01148/article/details/148524272

ZenML项目GCP云平台集成指南：从零搭建机器学习生产环境

zenml ZenML 🙏: Build portable, production-ready MLOps pipelines. https://zenml.io. 项目地址: https://gitcode.com/gh_mirrors/ze/zenml

前言

在机器学习项目从实验走向生产的过程中，基础设施的搭建往往是最具挑战性的环节之一。本文将详细介绍如何利用ZenML在Google Cloud Platform(GCP)上快速搭建一个完整的机器学习生产环境栈(stack)。通过本教程，您将掌握如何配置服务账号、启用必要API、创建关键组件，最终构建一个可立即运行的GCP机器学习工作流。

环境准备阶段

1. GCP项目创建与配置

在GCP控制台中创建或选择一个已有项目，这是所有资源部署的基础单元。建议为ZenML单独创建项目以便于资源管理：

gcloud projects create zenml-production \
  --name="ZenML Production Environment" \
  --labels=environment=prod,purpose=mlops

关键说明：

项目创建后需关联有效的结算账号
为项目添加描述性标签有助于后续管理
测试环境建议设置预算告警防止意外费用

2. 启用必要GCP API服务

ZenML运行依赖多个GCP基础服务，需提前启用以下核心API：

# 基础功能API
gcloud services enable compute.googleapis.com
# 容器相关服务
gcloud services enable containerregistry.googleapis.com run.googleapis.com
# 机器学习服务
gcloud services enable aiplatform.googleapis.com
# 日志监控服务
gcloud services enable logging.googleapis.com monitoring.googleapis.com

API作用说明：

Cloud Run/Cloud Functions：用于无服务器化部署编排器
Artifact Registry：容器镜像存储管理
Vertex AI：机器学习工作流编排核心服务
Logging：全栈日志收集与分析

安全配置阶段

3. 创建专用服务账号

遵循最小权限原则创建专属服务账号：

gcloud iam service-accounts create zenml-service-account \
  --description="ZenML专用服务账号" \
  --display-name="zenml-sa"

4. 分配精细化权限

仅授予必要权限避免过度授权：

# 存储权限（限定特定Bucket）
gcloud projects add-iam-policy-binding zenml-production \
  --member="serviceAccount:zenml-sa@zenml-production.iam.gserviceaccount.com" \
  --role="roles/storage.objectAdmin" \
  --condition=None

# Vertex AI权限
gcloud projects add-iam-policy-binding zenml-production \
  --member="serviceAccount:zenml-sa@zenml-production.iam.gserviceaccount.com" \
  --role="roles/aiplatform.serviceAgent" \
  --condition=None

权限设计建议：

生产环境建议使用自定义角色进一步细化权限
通过条件约束(Conditions)限制权限生效范围
定期审计服务账号权限使用情况

5. 生成访问密钥

创建JSON格式的服务账号密钥：

gcloud iam service-accounts keys create zenml-key.json \
  --iam-account=zenml-sa@zenml-production.iam.gserviceaccount.com

安全提示：

密钥文件应妥善保管，建议纳入密钥管理系统
定期轮换密钥(建议90天)
禁止将密钥提交到版本控制系统

ZenML组件配置阶段

6. 创建服务连接器

在ZenML中建立与GCP的安全连接：

zenml service-connector register gcp_prod_connector \
  --type gcp \
  --auth-method service-account \
  --service_account_json=@zenml-key.json \
  --project_id=zenml-production \
  --description="生产环境GCP连接器"

连接器验证：

zenml service-connector verify gcp_prod_connector

7. 配置存储组件

7.1 创建GCS存储桶

gsutil mb -p zenml-production -l europe-west1 gs://zenml-artifacts-prod
gsutil uniformbucketlevelaccess set on gs://zenml-artifacts-prod

7.2 注册Artifact Store

zenml artifact-store register gcp_artifact_store \
  --flavor=gcp \
  --path=gs://zenml-artifacts-prod \
  --encryption_key_service_account=zenml-sa@zenml-production.iam.gserviceaccount.com

8. 配置编排器组件

使用Vertex AI作为无服务器编排引擎：

zenml orchestrator register vertex_prod \
  --flavor=vertex \
  --project=zenml-production \
  --location=europe-west1 \
  --workload_service_account=zenml-sa@zenml-production.iam.gserviceaccount.com \
  --network=projects/zenml-production/global/networks/default

9. 配置容器仓库

# 创建Artifact Registry仓库
gcloud artifacts repositories create zenml-containers \
  --repository-format=docker \
  --location=europe-west1

zenml container-registry register gcp_registry \
  --flavor=gcp \
  --uri=europe-west1-docker.pkg.dev/zenml-production/zenml-containers

堆栈组装与验证

10. 创建完整堆栈

zenml stack register gcp_prod_stack \
  -o vertex_prod \
  -a gcp_artifact_store \
  -c gcp_registry \
  --set

11. 堆栈功能验证

# 验证组件连通性
zenml stack verify

# 运行测试流水线
zenml pipeline run -p quickstart_pipeline

环境清理策略

当不再需要环境时，可通过以下方式彻底清理：

# 删除GCS存储内容
gsutil rm -r gs://zenml-artifacts-prod

# 删除Artifact Registry仓库
gcloud artifacts repositories delete zenml-containers --location=europe-west1

# 最终删除项目（不可逆操作）
gcloud projects delete zenml-production