22、机器学习模型部署与评估策略

机器学习模型部署与评估策略

1. 预测库

在机器学习模型部署中，除了将服务功能部署为可通过 REST API 调用的微服务外，还可以将预测代码实现为库函数。库函数在首次调用时会加载导出的模型，使用提供的输入调用 model.predict() 并返回结果。需要使用该库进行预测的应用程序开发人员可以将该库包含在他们的应用程序中。

• 优势
  • 当由于物理原因（无网络连接）或性能限制而无法通过网络调用模型时，库函数是比微服务更好的选择。
  • 从预算角度来看，库函数方法将计算负担放在客户端，这可能更可取。
  • 使用 TensorFlow.js 的库方法可以避免在浏览器中运行模型时出现跨域问题。
• 劣势
  • 模型的维护和更新困难，所有使用该模型的客户端代码都必须更新以使用新版本的库。模型更新越频繁，微服务方法就越有吸引力。
  • 库方法仅限于为其编写库的编程语言，而 REST API 方法则可以让模型适用于几乎任何现代编程语言编写的应用程序。

注意事项 ：库开发人员应注意使用线程池和并行化来支持必要的吞吐量，但这种方法的可扩展性通常有限。

2. 批量服务设计模式

批量服务设计模式使用常用于分布式数据处理的软件基础设施，一次性对大量实例进行推理。

2.1 问题