6、深度学习系统中的实验与数据集管理

深度学习系统中的实验与数据集管理

实验相关内容

Kubeflow Pipelines 提供了实验结构，可将多个训练运行组织成一个逻辑组，并提供额外的可视化工具来突出每个实验运行之间的差异，这非常适合离线实验。若要进行在线实验，则需自行构建解决方案。

以下是不同平台在各个组件上的对比情况：
|组件|Amazon SageMaker|Google Vertex AI|Microsoft Azure Machine Learning|Kubeflow|
| ---- | ---- | ---- | ---- | ---- |
|数据集管理|可使用 AWS 组件（如 S3、Glue Data Catalog 和 Glue ETL）构建数据管理组件|有用于管理数据集的 API，数据内容上传和元数据标记为单独操作，数据集是一等对象且创建后不可变，提供统一客户端 API 供训练作业访问训练数据集|无数据集管理解决方案，有其他开源替代方案|无数据集管理解决方案，有其他开源替代方案|
|模型训练|支持内置算法、外部提供的自定义代码和自定义容器进行训练，提供按需启动训练作业的 API|提供可直接使用的预构建训练容器，支持自定义训练容器，提供支持在多个节点上启动训练容器的 API|提供可定制的基于 Python 的预构建训练容器，训练容器必须符合特定约定|可以原生访问 Kubernetes 调度功能，不提供预构建训练容器|
|模型服务|模型可部署为 Web 端点，多个模型可部署到同一端点以提高利用率（使用 GPU 时有一些限制），模型缓存行为可配置|模型和推理容器解耦，必须一起部署以形成用于服务的 Web 端点，支持自定义推理容器，每个端点多个模型主要用于金丝雀发布新版本