17、KFServing：机器学习模型管理与服务的利器

KFServing：机器学习模型管理与服务的利器

1. KFServing简介

在机器学习领域，随着生产方法的不断成熟，模型管理变得愈发重要。KFServing作为Kubeflow的核心模型管理组件，为模型服务提供了标准化的解决方案。

KFServing的核心价值主要体现在以下几个方面：
- 借助统一的数据平面和预构建的模型服务器，助力不同组织实现模型服务的标准化。
- 提供单一方式来部署、监控推理服务/服务器，并对推理工作负载进行扩展。
- 大幅缩短数据科学家将模型部署到生产环境的时间。

Kubeflow提供了两个开源的多框架服务选项：KFServing和Seldon Core。KFServing是Kubeflow项目生态系统的一部分，而Seldon Core是由Kubeflow组件支持的外部项目。两者支持的框架列表如下：
- TensorFlow
- XGBoost
- scikit-learn
- Nvidia Triton Inference Server
- ONNX
- PyTorch

KFServing使用的主要组件包括：
- Knative
- Istio
- Kubernetes

这些基础组件使KFServing能够在包含不同类型硬件（GPU、TPU、CPU）的计算集群上执行。在评估模型服务选项时，还需要考虑以下因素：
- 图支持
- 模型服务分析
- 推理扩展
- 推出选项

图支持在生产环境中非常重要，因为我们很少只是简单地进行模型推理。通常，