ZenML项目教程：使用标签和项目高效组织机器学习资产-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01030/article/details/148524626

ZenML项目教程：使用标签和项目高效组织机器学习资产

zenml ZenML 🙏: Build portable, production-ready MLOps pipelines. https://zenml.io. 项目地址: https://gitcode.com/gh_mirrors/ze/zenml

前言：机器学习项目组织的重要性

在机器学习项目开发过程中，随着实验次数增加、模型版本迭代以及团队成员协作需求增长，如何有效组织和管理各类资产（如数据、模型、管道等）成为了一项关键挑战。ZenML作为一款强大的机器学习工作流管理工具，提供了标签（Tags）和项目（Projects）两大核心功能来帮助解决这一问题。

标签与项目功能概述

标签（Tags）功能

标签是ZenML中灵活的分类机制，具有以下特点：

可应用于管道、运行、工件和模型等各类实体
支持自定义分类体系（如环境、领域、状态等）
提供高级功能如独占标签（Exclusive Tags）和级联标签（Cascade Tags）

项目（Projects）功能

项目是ZenML Pro提供的命名空间隔离机制：

为不同团队或计划创建逻辑隔离空间
支持跨项目统一管理策略
提供项目级别的访问控制和资源管理

实战：欺诈检测系统组织案例

基础管道标签应用

我们从一个简单的欺诈检测管道开始，展示如何应用基础标签：

@pipeline(tags=["fraud-detection", "training", "development"])
def fraud_detection_pipeline():
    """欺诈检测基础管道"""
    data = load_data()
    X_train, X_test, y_train, y_test = prepare_data(data)
    model = train_model(X_train, y_train)
    evaluate_model(model, X_test, y_test)

运行时添加标签的两种方式：

# 方式1：使用with_options方法
configured_pipeline = fraud_detection_pipeline.with_options(
    tags=["random-forest", "daily-run"]
)

# 方式2：使用YAML配置文件
configured_pipeline = fraud_detection_pipeline.with_options(
    config_path="config.yaml"
)

工件标签管理

在数据加载和特征工程步骤中标记工件：

@step
def load_data() -> Annotated[
    pd.DataFrame,
    ArtifactConfig(name="transaction_data", tags=["raw", "financial", "daily"]),
]:
    """加载带有标签的交易数据"""
    # 实现代码...
    return data

动态评估并标记数据质量：

@step
def evaluate_data_quality(data: pd.DataFrame) -> Annotated[
    float,
    ArtifactConfig(name="data_quality", tags=["evaluation"]),
]:
    """评估数据质量并动态标记"""
    missing_percentage = data.isnull().mean().mean() * 100
    tag = "complete-data" if missing_percentage == 0 else "incomplete-data"
    add_tags(tags=[tag], artifact_name="data_quality", infer_artifact=True)
    return missing_percentage

模型版本控制与标签

创建带有标签的模型版本：

fraud_model = Model(
    name="fraud_detector",
    version="1.0.0",
    tags=["random-forest", "baseline", "financial"]
)

高级组织技巧

独占标签模式

确保同一时间只有一个生产环境管道：

@pipeline(tags=[Tag(name="production", exclusive=True)])
def production_fraud_pipeline():
    # 生产环境管道实现
    pass

级联标签传播

自动将管道标签传播到所有相关工件：

@pipeline(tags=[Tag(name="financial-domain", cascade=True)])
def domain_tagged_pipeline():
    # 管道实现
    pass

项目隔离实践

创建并激活项目：

# 创建欺诈检测项目
Client().create_project(
    name="fraud-detection",
    description="欺诈交易检测模型"
)

# 设置为当前活动项目
Client().set_active_project("fraud-detection")