26、机器学习系统监控与持续机器学习系统解析

机器学习系统监控与持续机器学习系统解析

一、机器学习系统监控概述

在特定情境下做出决策时，成功的标志是能够将特定预测请求时模型的特定状态与特定情况关联起来。以贷款行业为例，预测是否向个人提供贷款的模型可利用可解释性来展示拒绝个人贷款申请的原因，这通常通过原因代码传达给下游用户。

监控机器学习（ML）系统至关重要，它从模型诞生到投入生产的整个生命周期都发挥着关键作用。主要挑战在于要尽可能高保真地进行监控，这对于可解释性、生产调试以及了解业务状况都非常重要。实现监控有多种方法，汇总各种具体建议会很有帮助。

监控的重要性及相关要点

1. 监控与可观测性 ：没有监控就无法实现可观测性，但可以进行粗略检测而无法深入检查，不过这并非行业发展方向。
2. 成本与收益 ：监控并非免费，产品开发人员需要编写代码维护带标签的指标并正确导出，还需要具备分析和展示功能的系统，但这是值得的。
3. 模型指标与业务指标 ：建模关键绩效指标（KPIs）与业务KPIs往往难以关联，团队可能需要进行一系列A/B测试，以了解在线业务指标与离线建模指标之间的耦合程度。
4. 模型更新风险 ：“向前滚动”策略通常风险较高，只有在无法安全回滚时才应考虑。同时，重新训练模型可能会使情况变得更糟，新模型不一定更好，在验证过程未高度自动化的情况下，还会增加CPU成本和人力成本。

其他相关概念