Orchest数据科学平台快速入门指南

Orchest数据科学平台快速入门指南

orchest orchest/orchest: 是一个基于 Kubernetes 的 CI/CD 平台。适合自动化部署和管理应用程序。特点是支持多种语言和框架，可以与其他 DevOps 工具集成。 项目地址: https://gitcode.com/gh_mirrors/or/orchest

概述

Orchest是一个可视化数据科学工作流编排平台，它允许数据科学家和工程师通过图形化界面构建、运行和管理端到端的数据处理流水线。本文将带您快速上手Orchest平台，通过构建一个完整的机器学习流水线来掌握其核心功能。

环境准备

在开始之前，您需要确保已经完成以下准备工作：

1. 安装Orchest平台或拥有Orchest云账户
2. 确保系统满足最低硬件要求（建议至少4GB内存）
3. 安装Docker（Orchest基于容器技术运行）

创建第一个项目

1. 登录Orchest平台后，点击"新建项目"按钮
2. 将项目命名为"quickstart"
3. 系统会自动创建一个名为"main.orchest"的空白流水线

项目是Orchest中的顶层组织单元，可以包含多个流水线(Pipeline)和关联的文件。

构建数据获取步骤

1. 在项目文件管理器中创建新文件"get-data.py"
2. 勾选"为此文件创建新步骤"选项
3. 在编辑器中输入以下Python代码：

import orchest
import pandas as pd
from sklearn import datasets

# 将数据缓存到/data目录，该目录在容器间共享
print("下载加州房价数据集...")
data = datasets.fetch_california_housing(data_home="/data")

# 转换为DataFrame格式
df_data = pd.DataFrame(data["data"], columns=data["feature_names"])
df_target = pd.DataFrame(data["target"], columns=["MedHouseVal"])

# 输出数据供后续步骤使用
print("输出转换后的房价数据...")
orchest.output((df_data, df_target), name="data")
print("完成！")

关键点解析

1. 环境配置：代码中使用的pandas和sklearn需要预先安装。通过"环境"标签页添加安装命令并构建环境。
2. 数据持久化：/data目录是Orchest管理的特殊目录，数据存储在此处可以在不同流水线和项目间共享。
3. 数据传递：使用orchest.output()方法将数据传递给流水线中的后续步骤。

添加数据探索步骤

1. 创建新文件"explore-data.ipynb"（Jupyter Notebook格式）
2. 在流水线编辑器中连接两个步骤
3. 在Notebook中添加数据探索代码，例如：

# 从上游步骤获取数据
inputs = orchest.get_inputs()
df_data, df_target = inputs["data"]

# 基本数据探索
print("数据维度:", df_data.shape)
print("\n前5行数据:")
print(df_data.head())

# 可视化探索
import matplotlib.pyplot as plt
df_data.hist(bins=50, figsize=(20,15))
plt.show()

扩展流水线功能

完整的机器学习流水线通常还包含以下步骤：

1. 数据预处理：处理缺失值、特征工程等
2. 模型训练：训练多个机器学习模型
3. 模型评估：比较模型性能
4. 结果收集：汇总最终结果

Orchest支持并行步骤执行，可以同时训练多个模型提高效率。

运行与监控

1. 点击"运行全部"按钮执行整个流水线
2. 在步骤日志中查看实时执行情况
3. 使用内置的可视化工具监控资源使用情况

交互式会话不会自动关闭，请在使用完毕后手动关闭以释放资源。

最佳实践建议

1. 模块化设计：将每个处理步骤封装为独立的步骤
2. 环境管理：为不同类型的任务创建专用环境
3. 数据管理：合理利用/data目录共享数据
4. 版本控制：定期提交项目变更到版本控制系统

通过本指南，您已经掌握了Orchest平台的基本使用方法。接下来可以尝试构建更复杂的流水线，或探索Orchest的高级功能如参数化流水线、定时任务等。

orchest orchest/orchest: 是一个基于 Kubernetes 的 CI/CD 平台。适合自动化部署和管理应用程序。特点是支持多种语言和框架，可以与其他 DevOps 工具集成。 项目地址: https://gitcode.com/gh_mirrors/or/orchest