29、机器学习系统监控与连续机器学习全解析

机器学习系统监控与连续机器学习全解析

1. 服务期间的可解释性

在服务过程中，可解释性的黄金标准是所谓的个体推理级可解释性。简单来说，就是要解释为什么某个特定交易被批准或拒绝，或者是什么因素导致分类器在特定情境下做出特定决策。例如在贷款行业，预测是否给个人贷款的模型可以利用可解释性来揭示个人被拒绝的原因，通常会通过原因代码将这些信息传达给下游用户。

2. 连续机器学习系统概述

传统观念中，我们常认为模型是经过训练后部署，且这种过程往往只发生一次。但实际上，存在两种不同的模型训练和部署方式：一次性训练并部署的模型，以及以更连续方式进行训练的连续机器学习（Continuous ML）系统。

连续机器学习系统通常以流式或定期批量的方式接收新数据，利用这些数据触发模型更新，并将更新后的模型推送到服务端。从MLOps的角度来看，一次性训练的模型和连续更新的模型有很大区别。转向连续机器学习会提高自动化验证的要求，还可能带来反馈循环和模型对外部世界变化反应的问题。管理连续数据流、应对模型故障和损坏，甚至为模型引入新特征进行训练等看似琐碎的任务，都会增加系统的复杂性。

虽然表面上看，创建连续机器学习系统可能不是个好主意，因为它使系统面临因外部世界潜在变化而产生的不可预知的行为。但如果连续更新系统的好处大于成本，那么这种方式是值得尝试的。很多情况下，拥有一个能够学习并适应世界新趋势的系统，可以提升整体系统质量，帮助实现复杂的业务和产品目标。

3. 连续机器学习系统的剖析

3.1 训练示例

在连续机器学习系统中，训练数据并非是一组固定不变的数据，而是以稳定的流形式输入。例如，在高流量应用中