在AWS上安装部署Seldon Core机器学习服务平台的完整指南

俞淑瑜Sally

于 2025-06-09 09:04:17 发布

阅读量211

点赞数 5

本文链接：https://blog.youkuaiyun.com/gitblog_00130/article/details/148524377

版权

在AWS上安装部署Seldon Core机器学习服务平台的完整指南

seldon-core An MLOps framework to package, deploy, monitor and manage thousands of production machine learning models 项目地址: https://gitcode.com/gh_mirrors/se/seldon-core

前言

Seldon Core是一个开源的机器学习部署平台，能够在Kubernetes集群上高效地部署、管理和扩展机器学习模型。本文将详细介绍如何在AWS云平台上部署Seldon Core，帮助开发者快速搭建生产级的机器学习服务环境。

环境准备

在开始安装Seldon Core之前，需要确保以下工具和环境已经准备就绪：

1. AWS CLI工具

AWS命令行工具是与AWS服务交互的基础，用于获取集群认证凭据和管理AWS资源。安装方法如下：

根据操作系统下载对应版本的AWS CLI
运行安装程序并配置访问密钥
通过aws configure命令验证安装是否成功

2. EKS Kubernetes集群

Elastic Kubernetes Service (EKS)是AWS托管的Kubernetes服务，推荐使用eksctl工具创建：

安装eksctl命令行工具
准备集群配置文件或直接使用命令行创建
建议配置至少2个工作节点以保证资源充足

3. Kubernetes管理工具

kubectl：Kubernetes集群管理命令行工具
Helm：Kubernetes包管理器，用于安装Seldon Core及其组件

连接Kubernetes集群

配置kubectl连接到EKS集群的命令如下：

aws eks update-kubeconfig --region <区域代码> --name <集群名称>

验证连接是否成功：

kubectl get nodes

安装集群入口控制器

Seldon Core支持两种主流的Ingress控制器：

1. Istio方案

Istio是一个功能强大的服务网格，提供流量管理、安全性和可观测性：

下载并安装Istio：

curl -L https://istio.io/downloadIstio | sh -
cd istio-<版本号>
export PATH=$PWD/bin:$PATH
istioctl install --set profile=demo -y

启用自动注入：

kubectl label namespace default istio-injection=enabled

创建Istio Gateway：应用以下YAML配置创建Seldon专用的网关：

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: seldon-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - "*"

2. Ambassador方案

Ambassador是一个轻量级的API网关，适合简单的部署场景：

通过Helm安装Ambassador
验证服务状态
注意：Kubernetes 1.22+版本可能不支持

安装Seldon Core

1. 创建专用命名空间

kubectl create namespace seldon-system

2. 使用Helm安装

根据选择的Ingress方案执行相应命令：

Istio方案：

helm install seldon-core seldon-core-operator \
  --repo https://storage.googleapis.com/seldon-charts \
  --set usageMetrics.enabled=true \
  --set istio.enabled=true \
  --namespace seldon-system

Ambassador方案：

helm install seldon-core seldon-core-operator \
  --repo https://storage.googleapis.com/seldon-charts \
  --set usageMetrics.enabled=true \
  --set ambassador.enabled=true \
  --namespace seldon-system

3. 验证安装

检查控制器是否正常运行：

kubectl get pods -n seldon-system

预期输出应包含状态为"Running"的seldon-controller-manager pod。

访问模型服务

安装完成后，获取访问入口地址：

Istio方案：

export INGRESS_HOST=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.status.loadBalancer.ingress[0].hostname}')
export INGRESS_PORT=80
echo "访问地址: http://$INGRESS_HOST:$INGRESS_PORT"

Ambassador方案：

export INGRESS_HOST=$(kubectl -n ambassador get service ambassador -o jsonpath='{.status.loadBalancer.ingress[0].hostname}')
export INGRESS_PORT=80
echo "访问地址: http://$INGRESS_HOST:$INGRESS_PORT"