14、模型推理服务：Seldon Core 与 KFServing 深度解析

模型推理服务：Seldon Core 与 KFServing 深度解析

1. Seldon Core 概述

Seldon Core 是构建推理图时的可靠推理解决方案，能同时实现模型服务、监控和更新保障。它弥补了 TFServing 的诸多不足，让数据科学家在使用场景变复杂时能自然地扩展推理图。此外，它还有 Canaries、Shadows 以及强大的多阶段推理管道等特性。

1.1 模型服务

Seldon Core 可扩展推理图，以一流方式支持高级机器学习洞察。其架构灵活，能利用托管服务之外的高级机器学习洞察。它具有通用性，支持 REST 和 gRPC，提供 GPU 加速，还能通过 Knative Eventing 与流式输入交互。但由于 SeldonDeployment 作为裸 Kubernetes 部署运行，不提供 GPU 自动缩放功能。

1.2 模型监控

Seldon Core 能满足所有模型监控需求。其部署策略采用 Kubeflow 的基础设施栈，运用微服务方法。解释器和检测器在灵活的推理图中作为独立微服务，通过支持 Prometheus 和 Zipkin 实现监控、日志记录和跟踪。

1.3 模型更新

Seldon Core 支持多种部署策略，如金丝雀、固定和多臂老虎机。但与 TFServing 类似，版本管理不够完善，版本升级无安全推出保障。不过，它在扩展推理图以支持更复杂部署策略方面具有完全的灵活性。

1.4 Seldon Core 总结

Seldon Core 提供可扩展性和对复杂推理图及模型洞察的出色支持，但在 GPU 自动缩放、缩容到零和安全模型更新的版