22、视觉与语言的MLOps实践

视觉与语言的MLOps实践

1. 什么是MLOps

MLOps即机器学习运维，它涵盖了一系列技术、人员和流程，旨在简化组织的机器学习工作流程。在机器学习中，我们不仅要关注模型的创建，还需考虑如何将其集成到实际应用中。

MLOps的核心之一是构建管道（pipeline）。管道是编排机器学习工作流的一系列步骤，包括自动重新训练模型、超参数调整、审计和监控、应用测试与集成、环境升级、漂移和偏差检测以及对抗性强化等。

构建管道有多种软件选项。如果使用SageMaker原生工具且没有编排堆栈，可以考虑SageMaker Pipelines；若已使用如AirFlow、KubeFlow、Ray、MLFlow或StepFunctions等编排堆栈，则可继续使用，并指向SageMaker API进行机器学习工作流操作。

管道的核心组件是步骤（step），例如数据预处理、模型训练、模型评估、手动审核、模型部署等。管道通常由一个触发器启动，如上传到S3、提交到存储库、特定时间、数据集更新或客户事件等。一个触发器启动整个管道，每个步骤在前一步骤完成后启动。

2. 常见的MLOps管道

• 模型部署管道

  • 核心任务 ：指向预训练的模型工件，包括推理脚本和模型本身，并将其放入所选的部署选项中。可以使用SageMaker RealTime Endpoints进行产品推荐，或使用异步端点托管大语言模型，也可通过多容器端点或多模型端点处理多种图像。
  • 基本步骤