3、MLOps 入门：原理、组件与实践

MLOps 入门：原理、组件与实践

1. MLOps 核心原理

1.1 可重复性

可重复性原则指在机器学习（ML）开发生命周期的主要步骤中，给定相同输入能够重现结果，这些步骤包括特征生成、ML 模型训练与实验以及 ML 模型部署。

在传统软件开发中，使用版本控制通常足以满足可重复性原则。但对于 ML 项目，需要更多精力来跟踪各种管道、特征生成和 ML 模型训练代码、超参数，尤其是数据和 ML 模型训练环境。

该原则带来诸多重要好处，例如当数据科学家离开公司或转去其他项目导致 ML 项目交接时，或者因负面业务影响或监管要求需要调试重要生产问题时。

1.2 测试

在数据工程师、数据科学家、ML 工程师等人员中，测试原则的实践预计遇到的阻力最小。然而，由于 ML 项目的动态性质以及多种类型的输入和工件，测试更具挑战性且更为关键。

ML 项目的有效测试需要多种类型的测试，主要关注两个重要的 ML 工件：数据和 ML 模型。
- 数据相关测试 ：
- 测试空值、异常统计分布和特征相关性。
- 在二元或多类分类 ML 任务中，验证目标标签分布的假设。
- 对特征生成代码进行单元测试。
- 模型相关测试 ：
- 使用离线数据验证模型性能，确保其满足预期的性能指标（如准确性）以及操作指标（如推理延迟或模型大小）。
- 生成特征重要性，以深入了解每个特征对模型性能的影响。
- 通过使用少量实时生产数据，将新模型或版本的性能与简单基线模型或当前生产中的模型进行