Ray项目中的Serve模块开发工作流详解

石顺垒Dora

于 2025-06-01 09:00:33 发布

阅读量296

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00598/article/details/148359832

Ray项目中的Serve模块开发工作流详解

ray ray-project/ray: 是一个分布式计算框架，它没有使用数据库。适合用于大规模数据处理和机器学习任务的开发和实现，特别是对于需要使用分布式计算框架的场景。特点是分布式计算框架、无数据库。项目地址: https://gitcode.com/gh_mirrors/ra/ray

概述

Ray Serve作为Ray项目的核心服务部署模块，为机器学习模型和业务逻辑提供了高效的部署方案。本文将深入探讨Ray Serve的开发工作流程，帮助开发者从本地开发平滑过渡到生产环境部署。

本地开发模式

使用serve.run进行程序化测试

serve.run是Ray Serve提供的核心API，允许开发者在本地环境中快速部署和测试服务。

优势特点：

完全基于Python脚本的自包含测试环境
无需搭建HTTP服务即可完成集成测试
适合编写自动化测试用例

典型应用场景：

from ray import serve
from ray.serve.handle import DeploymentHandle

@serve.deployment
class Doubler:
    def double(self, s: str):
        return s + " " + s

@serve.deployment
class HelloDeployment:
    def __init__(self, doubler):
        self.doubler: DeploymentHandle = doubler.options(use_new_handle_api=True)

    async def say_hello(self, name: str):
        doubled = await self.doubler.double.remote(f"Hello, {name}!")
        return doubled

app = HelloDeployment.bind(Doubler.bind())

测试代码示例：

handle = serve.run(app)
print(ray.get(handle.say_hello.remote("Ray")))
# 输出: "Hello, Ray! Hello, Ray!"

注意事项：

本地测试无法验证HTTP端点
受限于本地硬件资源（如无GPU设备则无法测试GPU相关功能）

基于HTTP的本地测试

对于需要验证HTTP接口的场景，可以使用serve run命令行工具：

serve run module_name:app

工作流程说明：

启动本地Ray实例
在8000端口监听HTTP请求
保持阻塞状态直到手动终止

测试示例：

curl -X PUT "http://localhost:8000/?name=Ray"
# 响应: Hello, Ray! Hello, Ray!

开发技巧：

使用Ctrl-C终止服务时会自动清理部署
每次运行都会重新部署所有服务组件
对于未修改的组件，建议使用serve deploy命令优化部署效率

本地测试模式（实验性功能）

Ray Serve提供了轻量级的本地测试模式，特点包括：

serve.run(app, _local_testing_mode=True)

特性对比： | 特性 | 完整集群模式 | 本地测试模式 | |------|------------|------------| | 执行环境 | 分布式Ray集群 | 单进程多线程 | | 启动速度 | 较慢 | 快速 | | 资源隔离 | 强 | 弱 | | 调试支持 | 一般 | 优秀 |

适用场景：

单元测试
快速验证业务逻辑
调试复杂问题

当前限制：

不支持DeploymentResponse到ObjectRef的转换
部分高级功能不可用

远程集群测试

当需要测试分布式特性或使用远程硬件资源时，可以连接到远程Ray集群：

serve run --address=ray://<head-node-ip>:10001 --working-dir="./src" module:app

环境配置要点：

代码同步：通过working_dir参数上传项目代码
依赖管理：使用runtime environment确保环境一致性
网络访问：确保客户端可以访问集群head节点

完整环境配置示例：

serve run --address=ray://1.2.3.4:10001 \
    --runtime-env-json='{
        "env_vars": {"MY_VAR": "value"},
        "working_dir": "./src",
        "pip": ["numpy", "pandas"]
    }' \
    module:app