21、机器学习模型部署与评估策略

机器学习模型部署与评估策略

1. 预测库的应用

在模型部署时，除了将服务功能作为可通过 REST API 调用的微服务进行部署外，还可以将预测代码实现为库函数。库函数在首次调用时会加载导出的模型，使用提供的输入调用 model.predict() 并返回结果。应用开发者若需使用该库进行预测，可将其集成到自己的应用中。

1.1 库函数的优势

• 网络限制场景 ：当由于物理原因（如无网络连接）或性能限制无法通过网络调用模型时，库函数是比微服务更好的选择。
• 预算考量 ：库函数将计算负担放在客户端，从预算角度看可能更可取。
• 避免跨域问题 ：使用 TensorFlow.js 的库方法可避免在浏览器中运行模型时的跨域问题。

1.2 库函数的缺点

• 维护更新困难 ：模型的维护和更新较为困难，所有使用该模型的客户端代码都需更新以使用新版本的库。模型更新越频繁，微服务方法就越有吸引力。
• 语言限制 ：库方法仅限于为其编写库的编程语言，而 REST API 方法可让模型适用于几乎任何现代编程语言编写的应用。

1.3 库函数的性能注意事项

库开发者应使用线程池和并行化来支持必要的吞吐量，但这种方法的可扩展性通常有限。

2. 批量服务设计模式