10、利用Ray Serve实现微服务与模型服务-优快云博客

利用Ray Serve实现微服务与模型服务

1. Ray Serve简介

Ray最初是为实现强化学习而创建的框架，后来逐渐演变成一个成熟的无服务器平台。Ray Serve最初是作为更好地服务机器学习模型的方式引入的，如今已发展成为一个成熟的微服务框架。接下来将介绍如何使用Ray Serve实现通用微服务框架以及如何使用该框架进行模型服务。

2. Ray微服务架构理解

Ray微服务架构（Ray Serve）基于Ray的actor实现，一个Serve实例由三种actor组成：
- Controller ：每个Serve实例独有的全局actor，负责管理控制平面，负责创建、更新和销毁其他actor。所有Serve API调用（如创建或获取部署）都通过它执行。
- Router ：每个节点有一个路由器，是一个Uvicorn HTTP服务器，接受传入请求，将其转发给副本，并在处理完成后响应。
- Worker replica ：工作副本根据请求执行用户定义的代码，每个副本处理来自路由器的单个请求。

用户定义的代码通过Ray部署实现，它是Ray actor的扩展，具有额外功能。下面从部署本身开始介绍。