21、机器学习模型部署与数据质量监控全解析

机器学习模型部署与数据质量监控全解析

1. 模型部署模式

在机器学习领域，模型部署是将训练好的模型投入实际应用的关键步骤。下面详细介绍几种常见的模型部署模式。

1.1 通用部署模式

通用部署模式包含一个完整的 TensorFlow 程序，涵盖权重和计算，且运行时无需原始模型构建代码。模型的评估图会导出到 EvalSavedModel，其中包含与在大量数据和用户定义切片上计算模型中定义的相同评估指标相关的额外信息。SavedModel 部署到端点，而 EvalSavedModel 用于分析模型性能。

以 Uber 的 Michelangelo 为例，模型部署到预测服务，该服务接收通过远程过程调用（RPC）发送的 Thrift 请求，从特征存储中获取特征，进行特征转换和选择，然后调用模型进行实际预测。相比之下，TFX 将所有特征处理嵌入管道，并将其表示为 TensorFlow 图。

通用部署模式的优势在于其灵活性，即一次构建，多次部署，类似于 Java 的“一次编写，随处运行”。然而，该模式的缺点是与多个编程库集成的成本较高，因为没有万能的解决方案。总体而言，对于处理使用各种库构建的异构模型并部署到不同端点的数据用户来说，这种模式是必不可少的。

1.2 自动扩展部署模式

ML 模型部署后，需要同时满足吞吐量服务级别协议（SLA）（以每秒预测次数衡量）和预测延迟 SLA（以 TP95 响应时间衡量）。在线模型的 SLA 要求比离线模型更为严格。自动扩展部署模式可确保模型性能根据不断变化的调用需求自动扩展，并在需求降低时缩小规模以节省成本。

该模式有三个构建块：
-