5、机器学习操作（MLOps）全流程解析

机器学习操作（MLOps）全流程解析

1. 数据标注与挑战

在机器学习中，数据标注面临着诸多挑战，例如需要领域专业知识、存在不一致性风险以及过程容易出错。数据的特性不同，标注方式也有所差异。

1.1 静态数据标注

当历史数据集是静态的，标注工作只需进行一次。比如将图像分类为猫或狗的问题，短期内不会有太大变化，标注一次后可长期使用。

1.2 动态数据标注

对于动态数据，像人脸识别或指纹识别应用，每天都可能添加新的人员数据。此时，标注解决方案必须成为应用的一部分。具体操作步骤如下：
1. 新用户拍摄照片并附上其 ID，供应用验证身份。
2. 若图像未被分类，系统应发出警报或进入手动识别流程。
3. 当添加新图片时，触发模型训练过程，并刷新在线模型以纳入新图像。

1.3 数据关联与自动化标注

数据在摄取时可与标签和标签关联。例如，汽车图像会附带元数据（如汽车 ID、型号、驾驶员）和遥测数据（如地理位置、时间戳、速度、天气、传感器指标等），这些信息应存储并与图像关联，用于生成标签。在考虑具有自动化（重新）训练流程的 MLOps 时，应考虑自动化标注机制。对于有延迟获取标签的应用，训练数据集应进行相应调整。例如，若基于过去三个月的数据重新训练客户流失模型，数据范围应在四个月到一个月前。

2. 特征存储

特征存储在机器学习项目中具有重要作用，它能够解决数据带来的诸多复杂性问题。

2.1 数据复杂性问题

大部分机器学习项目的复杂性源于数据，具体表现如下：
|问题|描述|