Ray项目中使用自定义Docker镜像部署Serve应用指南

最新推荐文章于 2025-06-11 19:13:54 发布

岑晔含Dora

最新推荐文章于 2025-06-11 19:13:54 发布

阅读量266

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00082/article/details/148360112

Ray项目中使用自定义Docker镜像部署Serve应用指南

ray ray-project/ray: 是一个分布式计算框架，它没有使用数据库。适合用于大规模数据处理和机器学习任务的开发和实现，特别是对于需要使用分布式计算框架的场景。特点是分布式计算框架、无数据库。项目地址: https://gitcode.com/gh_mirrors/ra/ray

前言

在分布式计算框架Ray中部署Serve应用时，使用Docker镜像是一种高效且可靠的方式。本文将详细介绍如何基于Ray官方镜像构建自定义Docker镜像，并将Serve应用打包其中，最终在Kubernetes环境中通过KubeRay进行部署。

准备工作

在开始前，请确保已安装：

Docker Desktop
拥有Dockerhub账号用于托管自定义镜像

示例应用介绍

我们以一个生成假邮箱地址的Serve应用为例，该应用依赖Faker包：

from ray import serve
from faker import Faker

@serve.deployment
class EmailDeployment:
    def __init__(self):
        self.fake = Faker()

    async def __call__(self):
        return self.fake.email()

app = EmailDeployment.bind()

本地测试时可安装Faker包并运行：

pip install Faker==18.13.0
serve run fake:app

构建自定义Docker镜像

1. 扩展官方Ray镜像

Ray官方提供了基础Docker镜像(rayproject/ray)，我们可以基于此添加额外依赖：

FROM rayproject/ray:2.9.0
RUN pip install Faker==18.13.0

2. 添加Serve应用代码

将应用代码直接打包进镜像比使用runtime_env更稳定：

FROM rayproject/ray:2.9.0
RUN pip install Faker==18.13.0

WORKDIR /serve_app
COPY fake.py /serve_app/fake.py

关键点：

WORKDIR设置容器工作目录
COPY将本地代码复制到镜像中

3. 构建并推送镜像

docker build . -t your_dockerhub_username/custom_image_name:latest
docker push your_dockerhub_username/custom_image_name:latest

在KubeRay中使用自定义镜像

在RayService配置中需做以下调整：

确保rayVersion与镜像中的Ray版本一致
设置head和worker节点的image字段为自定义镜像
移除serveConfigV2中已在镜像包含的runtime_env依赖

示例配置：

apiVersion: ray.io/v1alpha1
kind: RayService
metadata:
  name: fake-email-app
spec:
  serveConfigV2: |
    applications:
      - name: app
        route_prefix: /
        import_path: fake:app
  rayClusterConfig:
    rayVersion: '2.9.0'
    headGroupSpec:
      template:
        spec:
          containers:
            - name: ray-head
              image: shrekrisanyscale/serve-fake-email-example
    workerGroupSpecs:
      - replicas: 1
        template:
          spec:
            containers:
              - name: ray-worker
                image: shrekrisanyscale/serve-fake-email-example