30、构建端到端机器学习工作流与优化预测成本性能

构建端到端机器学习工作流与优化预测成本性能

1. Amazon SageMaker Pipelines 简介

Amazon SageMaker Pipelines 允许我们基于 SageMaker 的训练、调优、批量转换和处理脚本步骤，创建并运行端到端的机器学习工作流。与 Step Functions 相比，它具有以下特点：
- 可直接在 SageMaker Studio 中编写、运行、可视化和管理工作流，无需跳转至 AWS 控制台。
- 具备模型注册表，便于管理模型版本、仅部署已批准版本并跟踪模型谱系。
- 提供 MLOps 模板，这是通过 AWS 服务目录发布的 CloudFormation 模板集合，有助于自动化模型部署，还可添加自定义模板。

不过，SageMaker Pipelines 缺乏与其他 AWS 服务的集成，目前仅支持 SQS，而 Step Functions 支持更多计算和大数据服务。

2. 示例工作流步骤

以 Amazon Reviews 数据集和 BlazingText 算法为例，工作流包含以下步骤：
1. 处理步骤 ：使用 SageMaker Processing 准备数据集。
2. 摄取步骤 ：将处理后的数据集加载到 SageMaker Feature Store。
3. 数据集构建步骤 ：使用 Amazon Athena 查询离线存储并将数据集保存到 S3。
4. 训练步骤 ：在数据集上训练 BlazingT