15、KFServing与CT扫描去噪案例：模型推理与数据处理实践

KFServing与CT扫描去噪案例：模型推理与数据处理实践

1. KFServing：全面的推理解决方案

KFServing基于Seldon Core的图推理构建无服务器架构，提供了完整的推理解决方案，弥补了TFServing和Seldon Core的不足。它通过将模型服务器作为Knative组件运行，统一了整个模型服务器社区。

1.1 模型服务

• 灵活的数据平面 ：KFServing将图推理和高级机器学习洞察置于首位，定义了可高度扩展的数据平面，便于插入各种组件。这使数据科学家能专注于机器学习洞察，而无需担心如何将其融入图中。
• 多框架支持与标准化 ：KFServing不仅能为多种框架提供灵活的服务，还能跨不同框架标准化数据平面，降低在不同模型服务器之间切换的复杂性。
• Kubernetes设计模式 ：它将请求批处理、日志记录和流水线等常见功能移至边车（sidecar），简化了模型服务器，实现了关注点分离。没有这些功能的模型服务也能从部署到KFServing中受益。
• 其他特性 ：支持REST、gRPC和GPU加速，可通过Knative Eventing与流式输入接口，还能借助Knative Serving实现GPU自动缩放。

1.2 模型监控

• 继承Seldon Core优势 ：KFServing借鉴了Seldon Core及其基础设施栈