Triton Inference Server vLLM 后端项目教程

Triton Inference Server vLLM 后端项目教程

vllm_backend 项目地址: https://gitcode.com/gh_mirrors/vl/vllm_backend

1. 项目目录结构及介绍

Triton Inference Server vLLM 后端项目的目录结构如下：

vllm_backend/
├── docs/
├── samples/
├── src/
│   ├── __init__.py
│   ├── model.py
│   └── ...
├── .gitignore
├── LICENSE
├── README.md
├── pyproject.toml
└── ...

目录结构介绍

• docs/: 存放项目的文档文件，包括用户指南、API 文档等。
• samples/: 包含示例模型仓库和配置文件，用于演示如何使用 vLLM 后端。
• src/: 项目的源代码目录，包含主要的 Python 文件和模块。
  • init.py: 初始化文件，用于将目录标记为 Python 包。
  • model.py: 核心文件，定义了 vLLM 后端的模型加载和推理逻辑。
• .gitignore: Git 忽略文件，指定哪些文件和目录不应被版本控制。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的介绍文件，包含项目的基本信息和使用说明。
• pyproject.toml: Python 项目的配置文件，定义了项目的依赖和构建配置。

2. 项目启动文件介绍

项目的启动文件主要是 src/model.py，该文件定义了 vLLM 后端的核心逻辑。以下是 model.py 的主要功能介绍：

model.py 主要功能

• 模型加载: 负责加载 vLLM 引擎所需的模型和参数。
• 推理逻辑: 定义了如何处理推理请求，包括输入数据的预处理和输出数据的后处理。
• 配置加载: 从配置文件中读取参数，并将其传递给 vLLM 引擎。

启动步骤

1. 克隆项目: 首先从 GitHub 克隆项目到本地。

   git clone https://github.com/triton-inference-server/vllm_backend.git
   

2. 安装依赖: 进入项目目录并安装所需的依赖。

   cd vllm_backend
   pip install -r requirements.txt
   

3. 启动 Triton 服务器: 使用预构建的 Docker 容器启动 Triton 服务器。

   docker run --gpus all -it --net=host --rm -p 8001:8001 --shm-size=1G --ulimit memlock=-1 --ulimit stack=67108864 -v $(pwd):/work -w /work nvcr.io/nvidia/tritonserver:<xx.yy>-vllm-python-py3 tritonserver --model-repository=/model_repository
   

3. 项目配置文件介绍

项目的配置文件主要包括 model.json 和 config.pbtxt。这些文件用于配置 vLLM 引擎和 Triton 服务器的行为。

model.json

model.json 文件用于配置 vLLM 引擎的参数，例如模型名称、并行度、GPU 内存利用率等。以下是一个示例配置：

{
  "model_name": "vllm_model",
  "tensor_parallel_size": 2,
  "gpu_memory_utilization": 0.5
}

config.pbtxt

config.pbtxt 文件用于配置 Triton 服务器的参数，例如模型路径、输入输出配置等。以下是一个示例配置：

name: "vllm_model"
backend: "vllm"
max_batch_size: 128
input [
  {
    name: "input_text"
    data_type: TYPE_STRING
    dims: [ -1 ]
  }
]
output [
  {
    name: "output_text"
    data_type: TYPE_STRING
    dims: [ -1 ]
  }
]

配置文件的使用

1. 编辑配置文件: 根据实际需求编辑 model.json 和 config.pbtxt 文件。
2. 部署模型: 将配置文件和模型文件放置在模型仓库中。
3. 启动服务器: 使用上述启动步骤启动 Triton 服务器，并加载配置文件。

通过以上步骤，您可以成功配置和启动 Triton Inference Server 的 vLLM 后端，并进行模型推理。

vllm_backend 项目地址: https://gitcode.com/gh_mirrors/vl/vllm_backend