Seldon Core: 容器化机器学习模型的利器-优快云博客

Seldon Core: 容器化机器学习模型的利器

seldon-core An MLOps framework to package, deploy, monitor and manage thousands of production machine learning models 项目地址: https://gitcode.com/gh_mirrors/se/seldon-core

1. 项目介绍

Seldon Core 是一个开源的MLOps框架，用于打包、部署、监控和管理生产环境中的成千上万的机器学习模型。它将机器学习模型转化为可在Kubernetes上大规模部署的REST/GRPC微服务。Seldon Core 提供了高级的机器学习功能，如先进的度量、请求日志、解释器、异常检测器、A/B测试、金丝雀部署等。

2. 项目快速启动

在启动前，确保你的系统中已安装了Kubernetes和 Helm 3。

安装Seldon Core

使用Helm 3快速安装Seldon Core：

kubectl create namespace seldon-system
helm install seldon-core seldon-core-operator \
--repo https://storage.googleapis.com/seldon-charts \
--set usageMetrics.enabled=true \
--namespace seldon-system \
--set istio.enabled=true

部署你的模型

使用预包装模型服务器

Seldon Core 为一些流行的深度学习和机器学习框架提供了优化的模型服务器，允许你部署训练好的模型二进制/权重，无需容器化或修改。

例如，部署一个训练好的scikit-learn iris模型：

kubectl create namespace seldon
kubectl apply -f - << END
apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: iris-model
  namespace: seldon
spec:
  name: iris
  predictors:
  - graph:
      implementation: SKLEARN_SERVER
      modelUri: gs://seldon-models/v1.19.0-dev/sklearn/iris
      name: classifier
    name: default
    replicas: 1
END

使用语言包装器部署自定义模型

对于具有自定义依赖关系的深度学习和机器学习用例，可以使用Seldon Core的语言包装器。

例如，创建一个Python模型包装器Model.py：

import pickle

class Model:
    def __init__(self):
        self._model = pickle.loads(open("model.pickle", "rb").read())

    def predict(self, X):
        output = self._model(X)
        return output

使用Seldon Core的s2i工具构建镜像：

s2i build . seldonio/seldon-core-s2i-python3:0.18 sklearn_iris:0.1

然后部署到Seldon Core Kubernetes集群：

kubectl apply -f - << END
apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: iris-model
  namespace: model-namespace
spec:
  name: iris
  predictors:
  - componentSpecs:
  - spec:
      containers:
      - name: classifier
        image: sklearn_iris:0.1
      graph:
        name: classifier
      name: default
      replicas: 1
END