手把手教你用 Flask,Docker 和 Kubernetes 部署Python机器学习模型(附代码)

机器学习模型容器化实战:从Flask服务到生产级Docker镜像 容器化是保障机器学习模型可复现、可交付的核心工程实践。其本质是通过镜像固化Python解释器、依赖库(如scikit-learn、numpy)及系统级组件(如glibc、OpenMP),消除‘本地能跑,线上报错’的环境不一致问题。基于Docker的确定性沙盒机制,开发者可精准控制运行时契约,实现版本可追溯、部署可审计、资源可约束。该技术广泛应用于模型API服务、CI/CD流水线、边缘推理及Kubernetes编排前的基础构建。本文以Iris分类模型为例,详解Dockerfile设计、requirements 阅读详情

本文转自:AI开发者

将机器学习(ML)模型部署到生产环境中的一个常见模式是将这些模型作为 RESTful API 微服务公开,这些微服务从 Docker 容器中托管,例如使用 SciKit Learn 或 Keras 包训练的 ML 模型,这些模型可以提供对新数据的预测。然后,可以将它们部署到云环境中,以处理维护连续可用性所需的所有事情,例如容错、自动缩放、负载平衡和滚动服务更新。

持续可用的云部署的配置详细信息对于不同的目标云提供商来说是不一样的——例如,Amazon Web 服务的部署过程和拓扑结构与微软 Azure 不同,后者又与谷歌云平台不同。这构成了每个云提供商需要获取的知识。此外,在本地测试整个部署策略是困难的(有些人会说几乎不可能),它使得网络等问题难以调试。

Kubernetes 是一个容器编排平台,旨在解决这些问题。简而言之,它提供了一种机制,用于定义整个基于微服务的应用程序部署拓扑及其维护连续可用性的服务级别要求。对于目标云提供商来说,它可以在本地运行,甚至可以在你的笔记本电脑上运行,而这一切所需的只是运行 Kubernetes 的虚拟机集群,即 Kubernetes 集群。

这篇博客适合与 GitHub 存储库中的代码一起阅读(https://github.com/AlexIoannides/kubernetes-ml-ops),其中包含 Python 模块、Docker 配置文件和 Kubernetes 指令,用于演示如何使用 Docker 和 Kubernetes 将简单的 Python ML 模型转换为生产级 RESTful 模型评分(或预测)API 服务。这不是一个全面的指南,但它会帮助你快速启动和运行,熟悉基本概念和模式。

我们将使用两种不同的方法演示 ML 模型部署:使用 Docker 和 Kubernetes 的第一原则方法;然后使用 Seldon Core Kubernetes 本机框架来简化 ML 服务的部署。前者将有助于理解后者,后者构成一个强大的框架,用于部署和监视许多复杂的 ML 模型管道的性能。

    使用 Flask 和 Docker 容器化一个简单的 ML 模型评分服务器


我们首先演示如何使用 api.py 模块中包含的简单 Python ML 模型评分 REST API 和 Dockerfile 来实现这一基本功能,这两个文件都位于 py-flask-ml-score-api 目录中,其核心内容如下:

py-flask-ml-score-api/
| Dockerfile
| Pipfile
| Pipfile.lock
| api.py

在 api.py 模块中定义 Flask Service

这是一个 Python 模块,它使用 Flask 框架定义一个 web 服务(app),带有一个函数(score),该函数在响应对特定 URL(或「route」)的 HTTP 请求时执行,这要归功于 app.route 函数的封装。相关代码复制如下,以供参考:

from flask import Flask, jsonify, make_response, request


app = Flask(__name__)


@app.route('/score', methods=['POST'])
def score():
   features = request.json['X']
   return make_response(jsonify({'score': features}))


if __name__ == '__main__':
   app.run(host='0.0.0.0', port=5000

如果在本地运行(例如,使用 python run api.py 启动 web 服务),我们就可以在 http://localhost:5000/score  访问我们的函数。此函数接受以 JSON 形式发送给它的数据(该数据已自动反序列化为 Python dict,在函数定义中用作请求变量),并返回响应(自动序列化为 JSON)。

在我们的示例函数中,我们期望传递给 ML 模型一组特性 X,在我们的示例中,ML 模型将这些相同的特性返回给调用者,即我们选择的 ML 模型是 identity 函数,我们选择它纯粹是为了演示。我们可以很容易地加载一个 pickled SciKit Learn 或 Keras 模型,并将数据传递给 approproate predict 方法,以 JSON 的形式返回特性数据的分数。

用 Dockerfile 定义 Docker 映像

Dockerfile 本质上是 Docker 使用的配置文件,它允许你在操作时定义 Docker 容器的内容并配置其操作。此静态数据在未作为容器执行时称为「image」。作为参考,Dockerfile 复制如下:

FROM python:3.6-slim
WORKDIR /usr/src/app
COPY . .
RUN pip install pipenv
RUN pipenv install
EXPOSE 5000
CMD ["pipenv", "run", "python", "api.py"]

在我们的示例 Dockerfile 中,我们:

  • 首先使用一个预先配置好的 Docker 镜像(python:3.6-slim),它已经安装了 python 的 Alpine Linux 发行版;

  • 然后将 py-flask-ml-score-api 本地目录的内容复制到图像上名为 /usr/src/app 的目录中;

  • 然后使用 pip 为 Python 依赖管理安装 Pipenv 包;

  • 然后使用 Pipenv 将 Pipfile.lock 中描述的依赖项安装到映像上的虚拟环境中;

  • 将端口 5000 配置为暴露在运行容器上的「外部世界」;

  • 启动 Flask RESTful web 服务——api.py。注意,这里我们依赖 Flask 的内部 WSGI 服务器,而在生产环境中,我们建议配置一个更鲁棒的选项(例如 Gunicorn)。

构建此自定义映像并要求 Docker 进程运行它(请记住,正在运行的映像是一个「容器」),将在端口 5000 上公开我们的 RESTful ML 模型评分服务,就像它在专用虚拟机上运行一样。有关这些核心概念的更全面的讨论,请参阅 Docker 官方文档。

为 ML Scoring Service 构建 Docker 映像

我们假设 Docker 在本地运行,客户端登录到 DockerHub 上的一个帐户,并且在这个项目的根目录中有一个打开的终端。要构建 Dockerfile 运行中描述的映像:

docker build --tag alexioannides/test-ml-score-api py-flask-ml-score-api

其中「AlxiiNANIDs」指的是 DockerHub 帐户的名称,我们将在对图像进行测试之后上传它。

测试

要测试印象是否可以用于创建一个 Docker 容器,该容器的功能与我们预期的一样,

docker run --rm --name test-api -p 5000:5000 -d alexioannides/test-ml-score-ap

我们已经从 Docker 容器(即我们的 ML 模型评分服务器正在监听的端口)映射到主机(localhost)上的端口 5000:

docker ps

然后检查容器是否正在使用:

curl http://localhost:5000/score \
   --request POST \
   --header "Content-Type: application/json" \
   --data '{"X": [1, 2]}

你应该得到的输出是:

{"score":[1,2]}

我们的测试模型所做的只是返回输入数据,即它是 identity 函数。修改此服务以从磁盘加载 SciKit Learn 模型并将新数据传递给生成预测的「predict」方法只需要几行额外的代码。现在容器已经确认可以使用了,我们可以停止它:

docker stop test-api

将映象推送到 DockerHub 注册表

为了让远程 Docker 主机或 Kubernetes 群集能够访问我们创建的映像,我们需要将其发布到映像注册表。所有能提供基于托管 Docker 服务的云计算提供商都将提供私有映像注册,但为了方便起见,我们将使用 DockerHub 的公共映像注册。将我们的新映像推到 DockerHub(我的帐户 ID 是「AlxiiNANIDs」)。

docker push alexioannides/test-ml-score-api

我们现在可以看到,我们为印象选择的命名约定与我们的目标图像注册表有内在的联系(需要时,你需要插入自己的帐户 ID)。上传完成后,登录 DockerHub,通过 DockerHub 用户界面确认上传成功。

安装 Kubernetes 供本机开发和测试

安装单节点 Kubernetes 集群有两个适合本机开发和测试的选项:通过 Docker 桌面客户端,或者通过 Minikube。

通过 Docker 桌面安装 Kubernetes

如果你一直在 Mac 电脑上使用 Docker,那么你很有可能是通过 Docker 桌面应用程序来完成的。如果没有,则可以在此处下载 Docker 桌面。Docker 桌面现在与 Kubernetes 捆绑在一起,可以通过进入 Preferences->Kubernetes 并选择 Enable Kubernetes 来激活它。Docker 桌面需要一段时间才能下载运行 Kubernetes 所需的 Docker 印象,所以请耐心等待。完成后,转到 Preferences->Advanced,确保至少为 Docker 引擎分配了 2 个 CPU 和 4 个 GiB,这是部署单个 Seldon ML 组件所需的最低资源。

要与 Kubernetes 集群交互,你需要 kubectl 命令行界面(CLI)工具,该工具需要单独下载。在 Mac 上执行此操作的最简单方法是使用 brew install kubernetes-cli。一旦安装了 kubectl 并启动并运行了 Kubernetes 集群,就可以通过运行它来测试是否能按预期工作。

kubectl cluster-info

返回应该如下:

Kubernetes master is running at https://kubernetes.docker.internal:6443KubeDNS is running at https://kubernetes.docker.internal:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy


To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

通过 Minikube 安装 Kubernetes

在 Mac OS X 上,启动和运行 Minikube 所需的步骤如下:

  • 确保安装了安装包管理器

  • 使用安装 VirtualBox,使用 brew cask 安装 VirtualBox

  • 使用安装 Minikube,使用 brew cask 安装 minicube

要启动测试群集:

minikube start --memory 409

其中,我们指定了部署单个 Seldon ML 组件所需的最小内存量。耐心点,Minikube 可能需要一段时间才能开始,要先测试该群集是否运行正常。

kubectl cluster-info

其中 kubectl 是用于与 Kubernetes API 交互的标准命令行界面(CLI)客户机。

将容器化的 ML 模型评分服务部署到 Kubernetes

要在 Kubernetes 上启动我们的测试模型评分服务,我们将首先在 Kubernetes Pod 中部署容器化服务,它的推出由部署管理,而部署又会创建一个 ReplicaSet,这是通过下面的代码实现的:

kubectl create deployment test-ml-score-api --image=alexioannides/test-ml-score-api:lates

要检查部署运行的状态,

kubectl rollout status deployment test-ml-score-api

为了看到运行的 pod,

kubectl get pod

可以使用端口转发来测试单个容器,而无需将其公开到公共网络。要使用此功能,请打开一个单独的终端并运行。例如,

kubectl port-forward test-ml-score-api-szd4j 5000:500

其中 body-ml-score-api-szd4j 是集群上当前活动的 pod 的确切名称,由 kubectl get pods 命令确定。然后从原来的终端,对运行在 Kubernetes 上的同一个容器重复我们的测试请求,

curl http://localhost:5000/score \
   --request POST \
   --header "Content-Type: application/json" \
   --data '{"X": [1, 2]}

要将容器作为(负载平衡)服务公开,我们必须创建引用它的 Kubernetes 服务。这是通过以下命令实现的:

kubectl expose deployment test-ml-score-api --port 5000 --type=LoadBalancer --name test-ml-score-api-lb

如果你使用的是 Docker 桌面,那么这将自动模拟 http://localhost:5000 上的负载平衡器。查找 Minikube 在何处公开其模拟负载平衡器运行:

minikube service list

现在我们测试我们的新服务器,例如,使用 Docker 桌面:

curl http://localhost:5000/score \
   --request POST \
   --header "Content-Type: application/json" \
   --data '{"X": [1, 2]}

注意,Docker Desktop 和 Minikube 都没有设置一个真实的负载平衡器(如果我们在云平台上提出这个请求,就会发生这种情况)。要拆下负载平衡器,请依次运行以下命令:

kubectl delete deployment test-ml-score-api
kubectl delete service test-ml-score-api-l

    在 Google 云平台上配置多节点集群


该集群的资源远远大于笔记本电脑上 Kubernetes 管理器平台。我们将在 Google 云平台(GCP)上使用 Kubernetes 引擎。

启动并运行 Google 云平台

在使用 Google 云平台之前,请注册一个帐户并创建一个专门用于此工作的项目。接下来,确保 GCP SDK 安装在本地计算机上,例如:

brew cask install google-cloud-sdk

或者直接从 GCP 下载安装映像。注意,如果你还没有安装 Kubectl,那么现在就需要安装,这可以使用 GCP SDK 完成:

gcloud components install kubectl

然后我们需要初始化 SDK

gcloud init

它将打开浏览器并指导你完成必要的身份验证步骤,确保选择创建的项目以及默认区域。

初始化 Kubernetes 群集

首先,在 GCP UI 中,访问 Kubernetes 引擎页面以触发 Kubernetes API 启动。然后从命令行启动一个集群:

gcloud container clusters create k8s-test-cluster --num-nodes 3 --machine-type g1-small

然后,在等待集群创建的同时,你可以泡杯咖啡。注意,这将自动切换 kubectl 上下文以指向 GCP 上的集群,如果运行 kubectl config get-contexts,你将看到这一点。要切换回 Docker 桌面客户端,请使用 kubectl config use-context docker-desktop。

在 GCP 上启动容器化 ML 模型评分服务器

这在很大程度上与我们在本地运行测试服务时所做的相同-依次运行以下命令:

kubectl create deployment test-ml-score-api --image=alexioannides/test-ml-score-api:latest
kubectl expose deployment test-ml-score-api --port 5000 --type=LoadBalancer --name test-ml-score-api-lb

但是,要找到我们需要使用的 GCP 集群的外部 IP 地址:

kubectl get services

然后我们可以在 GCP 上测试我们的服务器,例如:

curl http://35.246.92.213:5000/score \
   --request POST \
   --header "Content-Type: application/json" \
   --data '{"X": [1, 2]}’

或者,我们可以再次使用端口来连接到单个 pod,例如:

kubectl port-forward test-ml-score-api-nl4sc 5000:5000

然后在一个单独的终端上:

curl http://localhost:5000/score \
   --request POST \
   --header "Content-Type: application/json" \
   --data '{"X": [1, 2]}'

最后,我们拆除复制控制器和负载平衡器,

kubectl delete deployment test-ml-score-api
kubectl delete service test-ml-score-api-lb

    在 Kubectl 上下文之间切换


如果在本地运行 Kubernetes 和 GCP 上运行一个集群,那么可以将 Kubectl 上下文从一个集群切换到另一个集群,如下所示:

kubectl config use-context docker-desktop

其中上下文的列表可以使用,

kubectl config get-contexts

    使用 YAML 文件定义和部署 ML 模型评分服务器


到目前为止,我们一直在使用 Kubectl 命令来定义和部署我们的 ML 模型评分服务器的基本版本。这对于演示来说是很好的,但是很快就受限,且无法控制。实际上,定义整个 Kubernetes 部署的标准方法是使用发布到 Kubernetes API 的 YAML 文件。py-flask-ml-score-api 目录中的 py-flask-ml-score.yaml 文件是一个示例,它说明了如何在单个 yaml 文件中定义我们的 ML 模型评分服务器。现在可以使用一个命令部署它:

kubectl apply -f py-flask-ml-score-api/py-flask-ml-score.yaml

注意,我们在这个文件中定义了三个单独的 Kubernetes 组件:一个名称空间、一个部署和一个负载平衡服务器,对于所有这些组件(及其子组件),使用 --- 来限定每个单独组件的定义。要查看部署到此命名空间中的所有组件的使用方法:

kubectl get all --namespace test-ml-app

同样,当使用任何 kubectl get 命令检查测试应用程序的不同组件时,设置 --namespace 标志。或者,我们可以将新的名称空间设置为默认上下文:

kubectl config set-context $(kubectl config current-context) --namespace=test-ml-app

然后运行:

kubectl get all

在这里,我们可以使用

kubectl config set-context $(kubectl config current-context) --namespace=default

拆掉我们可以使用的应用程序,

kubectl delete -f py-flask-ml-score-api/py-flask-ml-score.yaml

这样我们就不必使用多个命令单独删除每个组件。请参阅 Kubernetes API 的官方文档,以更深入地了解此 YAML 文件的内容。

    使用 Helm 图表定义和部署 ML 模型评分服务器


为 Kubernetes 编写 YAML 文件可能是重复性的工作,且难以管理,特别是如果涉及到大量的「复制粘贴」,那么从一个部署到下一个部署只需要更改少数参数,但有一堵「YAML 墙」需要修改。输入 Helm——一个用于创建、执行和管理 Kubernetes 部署模板的框架。下面是一个非常棒的演示,它是关于如何使用 Helm 来部署我们的 ML 模型评分服务器。要全面讨论 Helm 的全部功能,请参考官方文档。Seldon Core 也可以使用 Helm 部署,稍后我们将更详细地介绍这一点。

安装 Helm

和以前一样,在 Mac OS X 上安装 Helm 的最简单方法是使用自制包管理器,

brew install kubernetes-helm

Helm 依赖于一个专用的部署服务器,称为「Tiller」,它运行在我们希望部署应用程序的 Kubernetes 集群中。在部署 Tiller 之前,我们需要创建一个在集群范围内的超级用户角色来分配给它,以便它可以在任何命名空间中创建和修改 Kubernetes 资源。为了实现这一点,我们首先创建一个服务帐户,通过此方法,pod 在与服务帐户关联时,可以向 Kubernetes API 进行验证,以便能够查看、创建和修改资源。我们在 kube 系统名称空间中创建它,如下所示,

kubectl --namespace kube-system create serviceaccount tiller

然后在此服务帐户和群集角色之间创建绑定,顾名思义,该绑定会授予群集范围内的管理权限:

kubectl create clusterrolebinding tiller \
    --clusterrole cluster-admin \
    --serviceaccount=kube-system:tiller

我们现在可以将 Helm Tiller 部署到 Kubernetes 集群,并使用所需的访问权限,

helm init --service-account tiller

使用 Helm 进行部署

要创建新的 Helm 布署定义,

helm create NAME-OF-YOUR-HELM-CHART

这将创建一个新的目录,例如 helm-ml-score-app,它包含在这个存储库中,具有以下高级目录结构,

helm-ml-score-app/
 | -- charts/
 | -- templates/
 | Chart.yaml
 | values.yaml

简而言之,charts 目录包含我们的新表所依赖的其他表(我们不会使用这个),templates 目录包含我们的 Helm 模板,Chart.yaml 包含图表的核心信息(例如名称和版本信息),values.yaml 包含用于呈现模板的默认值的信息(如果没有从命令行设置值)。

下一步是删除模板目录中的所有文件(NOTES.txt 除外),并用我们自己的文件替换它们。我们从 namespace.yaml 开始为应用程序声明命名空间,

apiVersion: v1
kind: Namespace
metadata:
  name: {{ .Values.app.namespace }}

在此特定实例中 .Values.app.namespace 插入 app.namespace 变量,其默认值在 Values.yaml 中定义。接下来,我们在 deployment.yaml 中定义 pods 的部署:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: {{ .Values.app.name }}
    env: {{ .Values.app.env }}
  name: {{ .Values.app.name }}
  namespace: {{ .Values.app.namespace }}
spec:
  replicas: 1
  selector:
    matchLabels:
      app: {{ .Values.app.name }}
  template:
    metadata:
      labels:
        app: {{ .Values.app.name }}
        env: {{ .Values.app.env }}
    spec:
      containers:
      - image: {{ .Values.app.image }}
        name: {{ .Values.app.name }}
        ports:
        - containerPort: {{ .Values.containerPort }}
          protocol: TCP

以及 service.yaml 中的负载平衡器服务的详细信息,

apiVersion: v1kind: Servicemetadata:
 name: {{ .Values.app.name }}-lb
 labels:
   app: {{ .Values.app.name }}
 namespace: {{ .Values.app.namespace }}spec:
 type: LoadBalancer
 ports:
 - port: {{ .Values.containerPort }}
   targetPort: {{ .Values.targetPort }}
 selector:
   app: {{ .Values.app.name }}

实际上,我们所做的是将部署细节的每个组件从 py-flask-ml-score.yaml 拆分到自己的文件中,然后为配置的每个参数定义模板变量。要测试和检查呈现的模板,请运行:

helm install helm-ml-score-app --debug --dry-run

如果您对「dry run」的结果感到满意,则执行部署并使用:

helm install helm-ml-score-app --name test-ml-app

这将自动打印发布的状态,以及 Helm 赋予它的名称和呈现给终端的 NOTES.txt 的内容。列出所有可用的 Helm 版本及其名称:

helm list

以及其所有组成组件(如 pod、复制控制器、服务器等)的状态,例如:

helm status test-ml-app

ML 评分服务器现在可以用与上面完全相同的方式进行测试。一旦你确信它按预期工作,就可以使用了:

helm delete test-ml-app

    使用 Seldon 将 ML 模型评分服务器部署到 Kubernetes


Seldon 的核心任务是简化 Kubernetes 上复杂 ML 预测管道的重复部署和管理。在本演示中,我们将重点介绍最简单的示例,即我们已经使用的简单的 ML 模型评分 API。

为 Seldon 构建 ML 组件

要使用 Seldon 部署 ML 组件,我们需要创建 Seldon 兼容的 Docker 映像。我们首先遵循相关指导原则来定义一个 Python 类,该类封装了一个用于 Seldon 部署的 ML 模型。它包含在 seldon-ml-score-component 目录中,其内容类似于 py-flask-ml-score-api 中的内容:

seldon-ml-score-component/
 | Dockerfile
 | MLScore.py
 | Pipfile
 | Pipfile.lock

构建 Docker 印像以用于 Seldon

Seldon 要求 ML 评分服务器的 Docker 映像以特定的方式构造:

  • ML 模型必须封装在一个 Python 类中,其中包含一个带有特定签名(或接口)的 predict 方法,例如,在 MLScore.py(故意以其中包含的 Python 类命名)中:

class MLScore:
    """
    Model template. You can load your model parameters in __init__ from
    a location accessible at runtime
    """


    def __init__(self):
        """
        Load models and add any initialization parameters (these will
        be passed at runtime from the graph definition parameters
        defined in your seldondeployment kubernetes resource manifest).
        """
        print("Initializing")


    def predict(self, X, features_names):
        """
        Return a prediction.


        Parameters
        ----------
        X : array-like
        feature_names : array of feature names (optional)
        """
        print("Predict called - will run identity function")
        return X
  • 必须安装 seldon core Python 包

  • 容器首先使用 seldon-core 包提供的 Seldon core microservice 入口点运行 Seldon 服务,它和上面的点都可以看到 DockerFile

FROM python:3.6-slim
COPY . /app
WORKDIR /app
RUN pip install pipenv
RUN pipenv install
EXPOSE 5000


# Define environment variable
ENV MODEL_NAME MLScore
ENV API_TYPE REST
ENV SERVICE_TYPE MODEL
ENV PERSISTENCE 0


CMD pipenv run seldon-core-microservice $MODEL_NAME $API_TYPE --service-type $SERVICE_TYPE --persistence $PERSISTENCE

有关详细信息,请参阅 Seldon 官方文件(https://docs.seldon.io/projects/seldon-core/en/latest/python/index.html)。接下来,建立这个印象:

docker build seldon-ml-score-component -t alexioannides/test-ml-score-seldon-api:latest

在将此印像推送到注册表之前,我们需要确保它按预期工作。在本地 Docker 守护进程上启动映像:

docker run --rm -p 5000:5000 -d alexioannides/test-ml-score-seldon-api:latest

然后向它发送一个请求:

curl -g http://localhost:5000/predict \
    --data-urlencode 'json={"data":{"names":["a","b"],"tensor":{"shape":[2,2],"values":[0,0,1,1]}}}'

如果响应与预期一致(即它包含与请求相同的负载),则推送印象:

docker push alexioannides/test-ml-score-seldon-api:latest

使用 Seldon Core 部署 ML 组件

我们现在继续将 Seldon 兼容的 ML 组件部署到 Kubernetes 集群,并从中创建一个容错和可缩放的服务器。为了实现这一目标,我们将使用 Helm 表部署 Seldon Core。我们首先创建一个包含 seldon core 操作符的命名空间,这是使用 seldon 部署任何 ML 模型所需的自定义 Kubernetes 资源:

kubectl create namespace seldon-core

然后我们使用 Helm 部署 Seldon Core,并在 https://storage.googleapis.com/Seldon-charts 上部署 Seldon Helm 图表库:

helm install seldon-core-operator \
  --name seldon-core \
  --repo https://storage.googleapis.com/seldon-charts \
  --set usageMetrics.enabled=false \
  --namespace seldon-core

接下来,我们为 Kubernetes 部署 Ambassador API 网关,它将充当 Kubernetes 集群的入口点。我们将为 Ambassador 部署创建一个专用名称空间:

kubectl create namespace ambassador

然后使用 Helm 官方库中最新的图表部署 Ambassador:

helm install stable/ambassador \
  --name ambassador \
  --set crds.keep=false \
  --namespace ambassador

如果我们现在运行 helm list --namespace seldon-core,我们应该看到 seldon core 已经部署好了,并且正在等待 seldon ML 组件的部署。为了部署我们的 Seldon ML 模型评分服务器,我们为它创建了一个单独的名称空间:

kubectl create namespace test-ml-seldon-app

然后配置并部署另一个官方 Seldon Helm,如下所示:

helm install seldon-single-model \
  --name test-ml-seldon-app \
  --repo https://storage.googleapis.com/seldon-charts \
  --set model.image.name=alexioannides/test-ml-score-seldon-api:latest \
  --namespace test-ml-seldon-app

注意,通过重复最后两个步骤,现在可以使用 Seldon 部署多个 ML 模型,它们都将通过同一个 Ambassador API 网关自动访问,我们现在将使用该网关测试 Seldon ML 模型评分服务器。

通过 Ambassador 网关 API 测试 API

为了测试基于 Seldon 的 ML 模型评分服务器,我们遵循与上面 Kubernetes 部署相同的方法,但是我们将通过 Ambassador API 网关路由我们的请求。要查找 Ambassador 服务运行的 IP 地址:

kubectl -n ambassador get service ambassador

如果使用 Docker 桌面,则为 localhost:80;如果在 GCP 或 Minikube 上运行,则为 IP 地址(如果在后一种情况下需要记住使用 minikuke 服务列表)。现在测试预测的终结点,例如:

curl http://35.246.28.247:80/seldon/test-ml-seldon-app/test-ml-seldon-app/api/v0.1/predictions \
    --request POST \
    --header "Content-Type: application/json" \
    --data '{"data":{"names":["a","b"],"tensor":{"shape":[2,2],"values":[0,0,1,1]}}}'

如果你想了解路由背后的完整逻辑,请参阅 Seldon 文档(https://docs.seldon.io/projects/seldon-core/en/latest/workflow/serving.html),但 URL 实际上使用的是:

http://<ambassadorEndpoint>/seldon/<namespace>/<deploymentName>/api/v0.1/predictions

如果你的请求成功了,那么你应该会看到如下的结果:

{
  "meta": {
    "puid": "hsu0j9c39a4avmeonhj2ugllh9",
    "tags": {
    },
    "routing": {
    },
    "requestPath": {
      "classifier": "alexioannides/test-ml-score-seldon-api:latest"
    },
    "metrics": []
  },
  "data": {
    "names": ["t:0", "t:1"],
    "tensor": {
      "shape": [2, 2],
      "values": [0.0, 0.0, 1.0, 1.0]
    }
  }
}

    清理

要删除使用上述步骤部署的单个 Seldon ML 模型及其命名空间,请运行:

helm delete test-ml-seldon-app --purge &&
  kubectl delete namespace test-ml-seldon-app

按照同样的模式移除 Seldon 核心操作器和 Ambassador:

helm delete seldon-core --purge && kubectl delete namespace seldon-core
helm delete ambassador --purge && kubectl delete namespace ambassador

如果有一个 GCP 集群需要终止运行:

gcloud container clusters delete k8s-test-cluster

同样,如果使用 Minikube:

minikube stop
minikube delete

如果在 Docker 桌面上运行,导航到 Preferences->Reset 重置集群。

    接下来做什么


以下资源列表将帮助你深入了解我们在上面略过的主题:

  • the full set of functionality provided by Seldon(https://www.seldon.io/open-source/);

  • running multi-stage containerised workflows (e.g. for data engineering and model training) using Argo Workflows(https://argoproj.github.io/argo);

  • the excellent ‘Kubernetes in Action‘ by Marko Lukša available from Manning Publications(https://www.manning.com/books/kubernetes-in-action);

  • ‘Docker in Action‘ by Jeff Nickoloff and Stephen Kuenzli also available from Manning Publications(https://www.manning.com/books/docker-in-action-second-edition);

  • ‘Flask Web Development’ by Miguel Grinberg O’Reilly(http://shop.oreilly.com/product/0636920089056.do).

via:https://alexioannides.com/2019/01/10/deploying-python-ml-models-with-flask-docker-and-kubernetes/

(完)


从Jupyter Notebook到Kubernetes生产环境的ML模型部署实战 机器学习模型部署(ML deployment)是指将训练完成的模型转化为稳定、可监控、可扩展的在线服务的过程,其核心在于解决数据、特征、模型与运行环境四层耦合带来的不确定性。技术原理上需依托容器化(Docker)、编排(Kubernetes)、可观测性(Prometheus/Grafana)和模型运行时(ONNX Runtime)构建隔离、可重现、可回滚的服务网格。该实践显著提升模型服务韧性与交付效率,支撑实时推荐、风控、搜索等关键业务场景。本文聚焦真实产线中模型封装、镜像瘦身、灰度发布、漂移检测与灾备恢复 阅读详情

相关推荐

机器学习模型服务化:从Jupyter到K8s生产部署实战

机器学习模型服务化是将训练完成的模型转化为稳定、可观测、可扩展API的关键过程,其核心在于 bridging the gap between ML development and software engineering。它涉及模型序列化(如joblib/ONNX)、高性能推理框架(如FastAPI)、容器化封装(Docker)与声明式编排(Kubernetes)。技术价值体现在保障低延迟预测、高可用性、自动扩缩容及快速回滚能力。典型应用场景包括实时风控、个性化推荐和智能客服等在线推理服务。本文聚焦生产级部

weixin_30522095的博客 517

docker k8s python flask 部署

用python创建一个应用程序,使用docker构建镜像,使用k8s管理运行这个程序。 docker build -t k8s_python_code . docker tag k8s_python_code:latest 172.27.233.13:35000/k8s_python_code:1.6 docker push 172.27.233.13:35000/k8s_python_code:1.6 ...

juezhanangle的博客 1634

BERT模型Kubernetes部署实战:FastAPI+Docker+K8s最小可行方案

BERT是一种广泛使用的预训练语言模型,其推理服务需兼顾低延迟、高并发与资源稳定性;在Kubernetes中部署BERT,核心在于模型轻量化、服务异步化与容器标准化——FastAPI提供高性能异步接口,Uvicorn实现高效并发处理,Docker基于HuggingFace官方GPU镜像保障CUDA与transformers版本兼容,而Kubernetes Deployment+Service组合则支撑弹性伸缩与故障自愈。该方案特别适用于算法工程师上线微调后模型、ML工程师构建MLOps闭环,以及技术负责人验

搜索 507

flask 如何部署在k8s上

要在 k8s 上部署 Flask 应用,需要先将其打包成 Docker 镜像,然后在 k8s 上创建 Deployment 对象,并在 Deployment 对象中指定使用该镜像作为 Pod 的镜像。 具体步骤如下: 创建 Flask 应用,并在应用中添加 Dockerfile 文件,用于描述如何构建应用的 Docker 镜像。 使用 Docker 命令将 Flask 应用打包成 Docker...

weixin_35749796的博客 433

机器学习模型生产部署实战:Docker+FastAPI+K8s全链路指南

机器学习模型部署是将训练成果转化为业务价值的关键环节,其核心在于解决环境一致性、服务可靠性与系统可观测性三大工程挑战。基于Docker实现不可变运行环境,借助FastAPI构建高可用、强校验的预测API,并通过Kubernetes完成弹性编排与健康治理,构成现代轻量级MLOps落地的技术基座。该方案兼顾工程严谨性与实施敏捷性,适用于从单模型服务到多版本灰度发布的各类生产场景,尤其适合已掌握scikit-learn等基础建模能力、亟需跨越‘最后一公里’落地瓶颈的算法工程师与数据科学家。

weixin_30718391的博客 408

机器学习模型生产部署:FastAPI+Docker+K8s工程实践

机器学习模型部署不仅是将pkl文件上线,更是从开发环境到高可用生产环境的系统性工程跃迁。其核心在于解决并发处理、资源约束、可观测性与持续运维四大挑战。基于FastAPI的异步能力与OpenAPI契约、Docker多阶段构建实现镜像精简、Kubernetes提供弹性伸缩与自愈能力,构成当前主流MLOps落地的技术基座。该方案显著提升服务吞吐、降低延迟抖动、强化故障定位效率,并支撑模型版本灰度、热重载与影子流量验证等进阶实践。本文聚焦真实业务场景下的部署架构设计与避坑指南,覆盖风控、信贷等典型实时推理系统。

an4455的博客 504

使用kubernetes部署flask

编写flask-dp.yaml: apiVersion: apps/v1 kind: Deployment metadata: name: flaskapp-1 spec: selector: matchLabels: run: flaskapp-1 replicas: 1 template: metadata: labels: run: flaskapp-1 spec: containers: - ...

国产-达芬奇 1272

机器学习模型生产部署实战:从本地训练到Kubernetes上线

机器学习模型部署不是简单运行predict函数,而是涵盖环境一致性、数据与模型漂移防控、依赖管理、可观测性及可逆发布的系统工程。其核心原理在于将研究型产出转化为可重复、可审计、可运维的服务制品,技术价值体现在降低MTTR、保障线上稳定性、支持快速迭代与跨团队协作。典型应用场景包括风控API、推荐服务、实时信用评分等需高可用、低延迟、强可追溯性的业务系统。本文聚焦Docker容器化、FastAPI接口契约化、ONNX模型标准化与MLflow全生命周期管理四大落地实践,直击环境漂移、序列化风险、API设计随意性

weixin_33889665的博客 397

将flask项目部署在k8s遇到的坑

name 'reload' is not defined 原因是用的python2的写法,但python3执行 将 reload(sys) sys.setdefaultencoding('utf-8') 改为 import importlib importlib.reload(sys) 报错 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128) 加入 import codecs sys.std

Sindweller5530的博客 596

ML模型服务化实战:从Notebook到Kubernetes生产部署

机器学习模型服务化(Model Serving)是将训练完成的模型转化为稳定、可观测、可治理的在线API的关键环节,其核心在于解决从实验代码到生产服务的范式迁移——从追求快速验证转向保障SLA、弹性伸缩与故障自愈。技术原理涵盖模型序列化标准(如ONNX替代Pickle)、流量治理(Istio灰度发布)、运行时编排(KServe/Seldon Core)及多维可观测性(延迟P99、特征漂移、模型加载耗时)。其技术价值体现在降低运维成本、加速AB测试闭环、满足金融/电商等场景对低延迟与高可用的严苛要求。典型应用

weixin_33895657的博客 387

机器学习模型服务化:从Notebook到Kubernetes生产部署实战

机器学习模型服务化是将训练完成的模型转化为稳定、可扩展、可观测的API服务的关键过程。其核心在于突破交互式开发范式,转向确定性服务架构,涉及模型序列化、环境隔离、异步API设计、健康检查与K8s编排等系统性工程实践。技术价值体现在降低运维复杂度、提升资源利用率、保障低延迟高可用,并支撑灰度发布与自动扩缩容。典型应用场景包括电商实时推荐、金融风控API、IoT边缘推理等对稳定性与响应速度要求严苛的生产环境。本文聚焦FastAPI+Uvicorn+Gunicorn服务架构与Kubernetes部署闭环,深入解析

【洪波@阿里云】 443

用Python/Keras/Flask/Docker在Kubernetes上部署深度学习模型

简单到老板也可以亲自部署这篇博文演示了如何通过Docker和Kubernetes,用Keras部署深度学习模型,并且通过Flask提供REST API服务。这个模型并不是...

Docker的专栏 839

深入解析 ReDoc:从零构建高性能 API 文档的终极指南

ReDoc 是一个强大的开源工具,用于将 OpenAPI 规范转换为高质量、响应式的 API 文档。本文详细介绍了如何使用 ReDoc 构建和自定义 API 文档,包括如何编写支持 OpenAPI 的 API 注解、配置 HTML 页面以加载文档,以及如何利用 ReDoc 的高级功能进行定制。通过实例代码,您将学会如何灵活地展示 API 文档,提升用户体验。无论是初学者还是经验丰富的开发者,都能从本文中获得实用的技巧与方案,帮助快速搭建符合需求的 API 文档界面。

楠搏万的博客 4638

docker部署api_手把手教你用 Flask, Docker 和 Kubernetes 部署Python机器学习模型(附代码)...

将机器学习(ML)模型部署到生产环境中的一个常见模式是将这些模型作为 RESTful API 微服务公开,这些微服务从 Docker 容器中托管,例如使用 SciKit Learn 或 Keras 包训练的 ML 模型,这些模型可以提供对新数据的预测。然后,可以将它们部署到云环境中,以处理维护连续可用性所需的所有事情,例如容错、自动缩放、负载平衡和滚动服务更新。持续可用的云部署的配置详细信息对于不...

weixin_32667433的博客 419

(ZOS-API)Matlab控制ZEMAX软件调整光学系统某镜面位姿

所用软件的版本:MatlabR2022a, Zemax OpticStudio2024R1交互扩展功能,Zemax和可以同时打开,操作会比较方便在ZEMAX软件中,调整次镜位置通常有两种方法:1.在次镜前后各添加一个坐标间断面,并修改其“偏心X”“偏心Y”等参数来调整次镜的位姿;2.或者直接在次镜属性选项中设置相关数值。这两种方法对Zernike系数的采集结果无显著影响。

ecilifurt的博客 913

GD32F470 DSP库移植避坑指南:从CMSIS版本冲突到AC6工程配置

本文详细解析了在GD32F470平台上移植CMSIS-DSP库的完整流程与关键避坑点。针对CMSIS版本冲突、AC6编译器下的浮点ABI配置、DSP库源文件添加等核心难题,提供了经过验证的解决方案,帮助开发者高效完成移植,确保硬件FPU正常工作并优化性能。

data3的博客 532

maven docker 部署到多台机器上。。_手把手教你用 Flask, Docker 和 Kubernetes 部署Python机器学习模型(附代码)...

将机器学习(ML)模型部署到生产环境中的一个常见模式是将这些模型作为 RESTful API 微服务公开,这些微服务从 Docker 容器中托管,例如使用 SciKit Learn 或 Keras 包训练的 ML 模型,这些模型可以提供对新数据的预测。然后,可以将它们部署到云环境中,以处理维护连续可用性所需的所有事情,例如容错、自动缩放、负载平衡和滚动服务更新。持续可用的云部署的配置详细信息对于不...

weixin_39850599的博客 277

SAP PS项目结算实操:从CJ20N到CJ88,手把手搞定项目成本结转与凭证生成

本文详细解析SAP PS项目结算全流程,从CJ20N到CJ88的操作要点,涵盖成本归集、结算规则配置、结果分析及凭证生成等关键环节。特别针对FICO模块中的项目凭证流转问题提供实战解决方案,帮助财务人员规避常见配置错误,提升项目结算效率与准确性。

weixin_26833503的博客 820

Kubernetes部署实战:使用Python Project Blueprint将应用部署到k8s集群

Python Project Blueprint是一个功能强大的Python项目模板,它提供了完整的Kubernetes部署配置,帮助开发者快速将Python应用部署到K8s集群。本文将详细介绍如何使用该模板实现应用的容器化部署,从环境准备到最终验证,让你轻松掌握K8s部署技巧。 ## 📋 准备工作:环境与工具 在开始部署前,请确保你的环境中已安装以下工具: - Docker:用于构建应用镜

gitblog_00337的博客 1128

从 ST22 到根因定位:ABAP Dumps 全景排查指南(含典型 Dump 案例、修复套路与云时代实践)

本文系统介绍了SAP系统中ABAP短转储(Dump)的分析方法。首先指出短转储是程序运行时无法处理的错误导致系统强制终止执行。文章详细解析了短转储报告各区块的作用:从概述性的Short Text和What happened,到核心的Error Analysis和Source Code Extract,再到关键的系统字段Contents of system fields和调用栈Active Calls/Events。针对不同场景提供了排查建议:客户代码应建立可控边界,标准对象优先查阅SAP Notes。最后推

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 489

图像处理入门007:图像处理中的数学基础:线性代数与卷积

一种:把 OpenCV 当黑盒,调用,效果不对就乱调参数;另一种:理解每个像素是怎么被周围邻域"加权平均"的,理解核翻转、边界填充、stride 的含义。前者能干活,后者能解难题。一旦遇到自定义核(比如 ISP 上的锐化)、深度学习反向传播、医学图像重建,你就必须把卷积、相关、矩阵乘法这些基本功捡回来。线性代数三件套:向量点积、矩阵乘法、线性变换;2D 卷积的数学定义:核翻转、滑动窗口、边界填充。并手写一个,验证它与和的结果完全一致(误差 < 1e-9)。f∗gn∑m−∞∞f。

专注:太空算力、AI infra、异构调度、大模型成本工程 387

Python部署机器学习模型的3种高可用架构(附完整代码示例)

掌握Python在机器学习模型部署中的方案,本文详解三种高可用架构,涵盖Flask、FastAPI与Docker组合应用,适用于生产环境。支持快速扩展与维护,提升服务稳定性,值得收藏。

LiteCompile的博客 836

关于瑞芯微SDK中buildroot的架构分析、配置细节、以及一些使用步骤

摘要:瑞芯微SDK基于Buildroot框架,针对RK3568等芯片提供定制化开发环境。核心目录包括buildroot(配置与编译框架)、kernel(定制内核)和u-boot(引导程序)。开发流程为:1)加载芯片默认配置;2)通过menuconfig定制系统(架构、内核、软件包等);3)可选修改内核配置。关键硬件适配需修改设备树(dts)和分区表(parameter.txt),系统行为通过启动脚本(S90network)调整。最终执行make编译生成可烧录固件。该框架通过配置文件驱动,实现从工具链构建到固

Hyjks的博客 1200

ML工程师的Docker与Kubernetes实战:构建可复现、可伸缩、可交付的模型服务

容器化是机器学习工程化的核心基础,它通过声明式环境封装解决模型开发与生产间‘环境不一致’这一根本矛盾。其原理在于将代码、依赖、硬件驱动、资源配置统一纳入不可变镜像与声明式编排契约,从而保障跨平台行为一致性。技术价值体现在提升模型交付可靠性、加速MLOps流水线、支撑GPU等异构资源调度。典型应用场景包括金融风控模型上线、医疗影像推理服务部署、电商实时推荐系统扩容。本文聚焦Docker镜像构建最佳实践与Kubernetes生产级YAML配置,深入解析CUDA版本对齐、共享内存调优、startupProbe定制

weixin_33861800的博客 522

knowhere | 第一课:项目导论与环境搭建

摘要 本课程是Knowhere项目的第一课,重点介绍项目整体架构和开发环境搭建。Knowhere定位为AI Agent的文档记忆基础设施,通过解析多格式文档并保留结构化信息(如章节层级、表格语义等),为Agent提供可导航的文档知识。项目采用Python monorepo结构,核心包括: apps/api:FastAPI服务,处理HTTP请求和流程调用 apps/worker:Celery服务,执行文档解析等耗时任务 packages/shared-python:共享基础设施层 课程明确了各层职责边界,并推

weixin_43674738的博客 153

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Kubernetes(K8s)部署Python项目完全指南:从Docker容器化到集群部署

本文详细介绍了将Python Flask应用部署到Kubernetes集群的全流程,包括环境准备(安装Docker和K8s集群)、开发Flask应用、容器化应用(Docker镜像构建与推送)、K8s资源配置(创建Deployment和Service)以及部署验证。文中提供了完整的代码示例和命令行操作指南,涵盖从零基础到生产部署的关键步骤,特别适合刚接触容器化技术的开发者学习实践。通过K8s部署可以显著提升Python应用的可扩展性和可靠性,同时简化运维管理。

高压锅博客 930

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: 2019 最烂密码排行榜大曝光!网友:已中招!
下一篇: 一文读懂图卷积GCN
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值