13、机器学习模型部署与监控：从TFServing到Seldon Core

机器学习模型部署与监控：从TFServing到Seldon Core

在机器学习领域，模型的部署和监控是将模型从开发环境推向生产环境的关键环节。本文将介绍两种常见的模型部署解决方案：TFServing和Seldon Core，并详细探讨它们的特点、优缺点以及如何使用它们来构建和管理复杂的推理图。

1. TFServing概述

TFServing是一个用于部署TensorFlow模型的强大工具，它使得部署新的TensorFlow算法和实验变得简单，同时保持相同的服务器架构和API。然而，TFServing也存在一些局限性，无法满足所有的推理需求。

1.1 模型服务

TFServing仅对TensorFlow提供生产级支持，缺乏框架无关推理服务所需的灵活性。它支持REST、gRPC、GPU加速、小批量处理以及适用于边缘设备的“轻量级”版本，但不支持流式输入或内置自动扩展。此外，它在扩展推理图以包含更高级的机器学习洞察方面也存在不足。

1.2 模型监控

TFServing通过与Prometheus集成支持传统监控，可暴露系统信息和特定于TFServing的指标。但相关文档较少，且缺乏与Kibana等数据可视化工具或Jaeger等分布式跟踪库的一流集成，无法提供所需的网络可观测性管理功能。

1.3 模型更新

TFServing支持金丝雀、固定和回滚部署策略，但这些策略仅限于对现有模型版本进行手动标记，不支持引入运行中的模型版本，因此版本推广没有安全推出保证，且策略嵌入在服务器中，无法扩展到TFServing之外的其他部署策略。

2. Seldon Core