23、机器学习模型的持续评估与两阶段预测设计模式

机器学习模型的持续评估与两阶段预测设计模式

1 持续模型评估

1.1 原理

在开发机器学习模型时，通常隐含假设训练、验证和测试数据来自同一分布。然而，模型部署到生产环境后，这个静态假设可能不再成立。很多生产中的机器学习系统会遇到快速变化的非平稳数据，随着时间推移，模型会变得陈旧，影响预测质量。

持续模型评估提供了一个框架，专门针对新数据评估已部署模型的性能，能尽早检测到模型陈旧问题。通过捕获预测输入和输出并与真实值比较，可以量化跟踪模型性能，或者通过A/B测试衡量不同模型版本在当前环境下的表现。

1.2 权衡与替代方案

持续评估的目标是监控模型性能，保持生产环境中模型的新鲜度，为模型重新训练提供触发条件。在这种情况下，需要考虑模型性能的容忍阈值、相关权衡以及定期重新训练的作用。此外，还有像TFX这样的技术和工具，可通过直接监控输入数据分布来提前检测数据和概念漂移。

1.3 重新训练的触发条件

模型性能通常会随时间下降，持续评估能精确衡量下降程度，并为重新训练模型提供触发条件。但并非性能一开始下降就应立即重新训练，这取决于业务用例，需结合评估指标和模型评估进行讨论。

重新训练的成本可能因模型和ETL管道的复杂性而变得昂贵，需要权衡性能下降到何种程度在成本上是可接受的。

1.3.1 无服务器触发

云函数（如Cloud Functions、AWS Lambda和Azure Functions）提供了无服务器方式，通过触发自动进行重新训练。触发类型决定函数的执行方式和时间，可能是发布到消息队列的消息、云存储桶的更改通知、数据库数据的更