大模型部署指南之 vLLM 篇：基于PagedAttention的工业级推理方案

一、vLLM 是什么？

vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务。

1.1 核心优势

1. vLLM 速度很快，因为它具有：
   • 最先进的服务吞吐量
   • 使用 PagedAttention 对注意力键和值内存进行高效管理
   • 对传入请求进行连续批处理
   • 使用 CUDA/HIP 图进行快速模型执行
   • 量化：GPTQ、AWQ、INT4、INT8 和 FP8
   • 优化的 CUDA 内核，包括与 FlashAttention 和 FlashInfer 的集成。
   • 推测解码
   • 分块预填充
2. vLLM 灵活且易于使用，因为它具有：
   • 与流行的 HuggingFace 模型无缝集成
   • 使用各种解码算法（包括 并行采样、束搜索 等）进行高吞吐量服务
   • 支持分布式推理的 张量并行 和 管道并行
   • 流式输出
   • 与 OpenAI 兼容的 API 服务器
   • 支持 NVIDIA GPU、AMD CPU 和 GPU、Intel CPU 和 GPU、PowerPC CPU、TPU 和 AWS Neuron。
   • 支持前缀缓存
   • 支持多 LoRA

二、快速开始

2.1 安装

conda create -n vllm python=3.10 -y && conda activate vllm
pip install vllm

2.2 验证

vllm --version  # 查看版本

2.3 默认仓库

vLLM 默认从 HuggingFace 上面下载模型
如果需要从 ModelScope 上面下载模型，设置以下环境变量：

export VLLM_US