19、KFServing模型部署与基础设施安全概念解析

KFServing模型部署与基础设施安全概念解析

1. KFServing模型部署

KFServing在模型部署和管理方面发挥着重要作用，下面将详细介绍其相关操作。

1.1 金丝雀部署示例

以下是一个金丝雀部署的YAML示例：

apiVersion: "serving.kubeflow.org/v1alpha2"
kind: "InferenceService"
metadata:
  name: "my-model"
spec:
  # this is now the promoted / default model
  default: 
    predictor:
      tensorflow:
        storageUri: "gs://kfserving-samples/models/tensorflow/flowers-2"

需要注意的是，此过程仍依赖DevOps工程师手动跟踪默认、先前和当前的金丝雀模型。

1.2 自定义转换器部署

构建自定义转换器的一般步骤如下：
1. 扩展KFModel并实现预处理/后处理函数（Python）。
2. 使用扩展的KFModel代码构建Docker镜像。
3. 将新的Docker镜像部署为InferenceService。

以下是一个自定义KFServing转换器的Python示例：

import kfserving
from