vLLM官方中文教程：快速入门

官方英文原文链接：https://docs.vllm.ai/en/stable/getting_started/quickstart.html

快速开始

本指南将帮助您快速开始使用 vLLM 执行以下两个任务：

• 离线批量推理
• 使用兼容 OpenAI 的服务器提供在线服务

环境依赖

• 操作系统：Linux
• Python版本：3.9 - 3.12

安装vLLM

如果使用英伟达™（NVIDIA®）GPU，可以直接使用 pip 安装 vLLM。

建议使用 uv（一个非常快速的 Python 环境管理器）来创建和管理 Python 环境。请按照文档安装 uv。安装 uv 后，可以使用以下命令创建新的 Python 环境并安装 vLLM：

uv venv myenv --python 3.12 --seed
source myenv/bin/activate
uv pip install vllm

您还可以使用 conda 创建和管理 Python 环境。

conda create -n myenv python=3.12 -y
conda activate myenv
pip install vllm

注意：对于非 CUDA 平台，有关如何安装 vLLM 的具体说明，请参阅此处安装指引。

离线批量推理

安装 vLLM 后，您就可以开始为输入的提示词列表生成文本（即离线批量推理）。请参阅示例脚本：examples/offline_inference/basic/basic.py，脚本如下

该示例的第一行导入了 LLM 和 SamplingParams 这两个类：

• LLM 是使用 vLLM 引擎运行离线推理的主要类。
• SamplingParams 指定了采样过程的参数。

from vllm import LLM, SamplingParams

下一节定义了文本生成的输入提示和采样参数列表。采样温度设置为 0.8，核采样概率设置为 0.95。有关采样参数的更多信息，请点击此处。

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

LLM 类初始化 vLLM 引擎，和初始化用于离线推理的 OPT-125M 模型。支持的模型列表请点击此处。

llm = LLM(model="facebook/opt-125m")

注意：默认情况下，vLLM 从 HuggingFace 下载模型。如果您想使用来自 ModelScope 的模型，请在初始化引擎前设置环境变量 VLLM_USE_MODELSCOPE。

现在，使用 llm.generate 生成输出。它将输入提示添加到 vLLM 引擎的等待队列中，并执行 vLLM 引擎以高吞吐量的方式生成输出。输出以 RequestOutput 对象列表的形式返回，其中包括所有输出标记tokens。

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

提供在线服务

vLLM 可以作为实现 OpenAI API 协议的服务器来部署。这样，vLLM 就能直接替代使用 OpenAI API 的应用程序。默认情况下，它会在 http://localhost:8000 上启动服务器。你可以使用 --host 和 --port 参数指定地址。目前，服务器只能托管一个模型，并实现了如下接口功能：list models,create chat completion, create completion

运行以下命令，使用 Qwen2.5-1.5B-Instruct 模型启动 vLLM 服务器：

vllm serve Qwen/Qwen2.5-1.5B-Instruct

注意：默认情况下，服务器使用存储在tokenizer中的预定义聊天模板。您可以在此了解如何重载该模板。

该服务器的查询格式与 OpenAI API 相同。例如，返回可用模型列表：

curl http://localhost:8000/v1/models

您可以通过参数 --api-key 或环境变量 VLLM_API_KEY，让服务器检查接口请求头中的 API 密钥。

使用 vLLM 的 OpenAI Completions 接口

服务器启动后，您可以通过输入提示词来进行模型推理：

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
   
   
        "model": "Qwen/Qwen2.5-1.5B-Instruct",
        "prompt": "San Francisco is a",
        "max_tokens": 7,
        "temperature": 0
    }'

由于该服务器与 OpenAI API 兼容，因此您可以用它来替代任何使用 OpenAI API 的应用程序。例如，查询服务器的另一种方法是使用 openai Python 软件包：

from openai import OpenAI

# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
completion = client.completions.create(model="Qwen/Qwen2.5-1.5B-Instruct",
                                      prompt="San Francisco is a")
print("Completion result:", completion)

更详细的客户端示例可在此处找到：examples/online_serving/openai_completion_client.py，代码如下：

# SPDX-License-Identifier: Apache-2.0

from openai import OpenAI

# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    # defaults to os.environ.get("OPENAI_API_KEY")
    api_key=openai_api_key,
    base_url=openai_api_base,
)

models = client.models.list()
model = models.data[0].id

# Completion API
stream = False
completion = client.completions