31、机器学习事故管理的原则与策略

机器学习事故管理的原则与策略

1. ML 事故管理概述

在机器学习（ML）系统中，“模型改进”的概念往往十分模糊。建议首先明确模型改进的流程，跟踪正在进行的工作，并定义用于指导模型质量改进的指标。当事故发生时，根据事故情况对现有的模型改进工作进行添加、更新或重新排序。

不同的 ML 事故案例在检测、故障排除、缓解、解决以及事后跟进等方面呈现出一些共同模式。ML 事故管理有三个指导原则：
- 公开性（Public） ：ML 故障通常首先由最终用户发现，或者至少是在管道的末端，如服务阶段或集成到应用程序中时被发现。这部分是因为 ML 模型性能（质量）监控非常困难。一些质量故障对最终用户来说很明显，但对开发者、决策者或 SRE 来说却不明显。例如，某些情况会 100% 影响一小部分用户，这些用户的系统体验始终很差，但如果不专门查看这部分用户的数据，整体指标可能不会显示任何问题。
- 模糊性（Fuzzy） ：ML 故障在影响和时间两个维度上的定义都不明确。在时间方面，很难确定 ML 事故的确切开始和结束时间。虽然可能有可追溯的起源事件，但建立明确的因果链可能不切实际。在影响方面，也很难判断 ML 系统的特定状况是重大故障，还是模型尚未达到预期的复杂程度和有效性。模型通常从基础阶段开始，随着对世界建模的理解加深和数据的改进而逐渐提升，但“坏”与“好”之间往往没有明显的界限，更多的是“更好”和“不太好”的区别。
- 无边界性（Unbounded） ：ML 故障的排查和解决涉及广泛的系统和组织部门。这是因为 ML 系统比非 ML 系统涉及更多的技术、产品和业务部门。这并不