25、机器学习模型监控与评估全解析

机器学习模型监控与评估全解析

在机器学习领域，模型的训练、验证、部署和监控是一系列关键环节。了解行业趋势，掌握训练和再训练的要点，做好模型验证和监控，对于确保模型的性能和业务影响至关重要。

1. 行业趋势

当前，SHAP 正逐渐成为模型可解释性的黄金标准，LIME 也颇受欢迎。这两种方法有助于我们理解模型的决策过程，为模型的优化和调整提供依据。

2. 训练与再训练

2.1 训练阶段的监控要点

从经典的监控角度来看，训练阶段相对容易处理。关键是要保持整体视角，其中最重要的指标是从开始训练到生成可用模型所需的时间。

2.2 再训练的时机与问题

再训练通常在回滚策略无效、无法回滚或前滚比回滚更适合基础设施时使用。然而，再训练也存在一些弊端：
- 相同数据再训练 ：如果使用与旧模型相同的数据进行再训练，可能会得到相似的结果。
- 再训练时间过长 ：再训练耗时过长，可能无法及时解决模型故障。

为解决第一个问题，可以通过更改训练数据来“破解”这种情况，例如使用全新的数据集、替换不良数据或添加缺失数据等。

2.3 训练监控的具体建议

为了实现基础级别的监控覆盖，以下是一些需要监控的方面：
- 输入数据
- 数据大小 ：比较输入数据集与预期大小，若数据集意外缩小 50%，通常是个不好的信号。
- 数据对比