使用Ray Serve部署您的AI模型：从入门到精通

最新推荐文章于 2025-04-14 19:20:48 发布

tt_jishu

最新推荐文章于 2025-04-14 19:20:48 发布

阅读量630

点赞数 4

文章标签：人工智能 python 开发语言

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/144620254

版权

# 引言

在现代的AI应用中，将机器学习模型部署到生产环境中是一个至关重要的步骤。Ray Serve是一种可扩展的模型服务库，它允许开发者轻松地在Python中创建复杂的在线推理服务。本篇文章旨在通过一个简单的例子，介绍如何使用Ray Serve将OpenAI模型部署到生产环境中。我们将讨论系统组合、部署、API调用，以及一些常见问题的解决方案。

# 主要内容

## Ray Serve的安装和基础知识

在开始之前，需要安装Ray Serve。您可以使用以下命令进行安装：

```bash
pip install ray[serve]

Ray Serve允许您定义一个Python类作为服务的部署单元。服务可以通过API运行，并轻松集成异步请求处理。

部署服务的一般步骤

步骤 0: 导入Ray Serve和Starlette请求

from ray import serve
from starlette.requests import Request

步骤 1: 定义Ray Serve部署

@serve.deployment
class LLMServe:
    def __init__(self) -> None:
        pass

    async def __call__(self, request: Request) -> str:
        return "Hello World"

步骤 2: 绑定和运行部署

deployment = LLMServe.bind()
serve.api.run(deployment)

步骤 3: 关闭部署

serve.api.shutdown()

部署OpenAI链与自定义提示

获取OpenAI API密钥并进行部署是非常必要的。以下是一个使用自定义提示的OpenAI链的部署示例：

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate
from langchain_openai import OpenAI
from getpass import getpass

OPENAI_API_KEY = getpass()

@serve.deployment
class DeployLLM:
    def __init__(self):
        llm = OpenAI(openai_api_key=OPENAI_API_KEY)
        template = "Question: {question}\n\nAnswer: Let's think step by step."
        prompt = PromptTemplate.from_template(template)
        self.chain = LLMChain(llm=llm, prompt=prompt)

    def _run_chain(self, text: str):
        return self.chain(text)

    async def __call__(self, request: Request):
        text = request.query_params["text"]
        resp = self._run_chain(text)
        return resp["text"]

deployment = DeployLLM.bind()

PORT_NUMBER = 8282
serve.api.run(deployment, port=PORT_NUMBER)

代码示例

import requests

text = "What NFL team won the Super Bowl in the year Justin Bieber was born?"
response = requests.post(f"http://localhost:{PORT_NUMBER}/?text={text}")
print(response.content.decode())