vLLM 实战

最新推荐文章于 2025-07-16 19:30:00 发布
最新推荐文章于 2025-07-16 19:30:00 发布
阅读量2.6k 收藏 7
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LF_AI/article/details/132551087
本文介绍了 vLLM 框架，它比 Hugging Face Transformers 和 TGI 框架具有更高的吞吐量。通过实战分析 `offline_inference` 示例，展示了如何配置调试环境、下载模型并复现流程。vLLM 的关键技术和优势包括 KVCache 显存优化、PagedAttention 和 Continuous Batching，提供了便捷的调试和快速的推理性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

随着人工智能技术的飞速发展，以及今年以来 ChatGPT 的爆火，大语言模型 (Large Language Model, LLM) 受到越来越多的关注。

为了实现 LLM 部署时的推理优化，全球各地有众多团队做出了各种优化框架。本文以加州大学伯克利分校开发的 vLLM 框架为例，进行实战探索。

1. 整体介绍

根据公开文档中的实验结果， vLLM 吞吐量比 Hugging Face Transformers 高出 24 倍，比 TGI 高出 3.5 倍。

c78f68ab6d900f3595edd2647edd06e3.png

vLLM 整体框架如下图所示。

69bc9c9da0f93d074b499906e7c3edfc.jpeg

其中的关键技术点包括：

  • KVCache 显存优化

  • PagedAttention

  • Continuous Batching

笔者通过实际使用，认为该框架优点如下：

  • 调试方便： 主框架由 Python 实现，便于用户断点调试。

  • 系统设计工整规范： LLMEngine、Scheduler、Worker 结构清晰，初学者可以方便地理清脉络。

  • 推理速度快： 经过理论计算与实测， 8 卡 A100-40G 足以支持千人试用。

2. offline_inference 示例复现分析

(1) 调试环境配置

为方便复现，笔者制作了 dockerfile 用于编译 base 镜像，base 镜像把 vllm 的依赖库都安装好，基于 base 镜像直接再安装 vllm 库即可复现。

docker build -t vllm_ci-benchmark:base -f ci/docker/ci-benchmark-base.dockerfile .

docker build -t vllm_ci-benchmark:v1 -f&
最低0.47元/天 解锁文章

200万优质内容无限畅学
大模型推理加速框架vllm部署的实战方案
herosunly的博客
11-25 3万+
本文主要介绍了大模型推理加速框架vllm部署的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行vllm
Python 领域 vllm 实战：构建智能问答系统
Python编程之道的博客
06-01 606
在当今信息爆炸的时代，智能问答系统能够高效地为用户提供准确的信息，极大地提升用户获取知识的效率。vllm 作为一种快速的大语言模型推理和服务框架，具有显著的性能优势。本文章的目的是深入介绍如何利用 vllm 在 Python 环境下构建一个智能问答系统，范围涵盖从 vllm 的基本概念、核心算法原理，到实际项目的开发和部署，以及系统在不同场景下的应用。本文首先介绍 vllm 的相关背景知识，包括其核心概念和架构原理。接着详细讲解核心算法原理和具体操作步骤，通过 Python 代码进行说明。
大模型框架：vLLM
m0_37559973的博客
05-24 1万+
​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。
vLLM实践详解
03-15 8991
针对大模型推理速度慢的问题，vLLM针对一些大模型进行优化适配，可以有效提高推理速度，体量越大的模型，提高的效果越好。
vllm docker容器部署大语言模型
zxw的博客
06-10 1539
使用vllm docker容器部署大语言模型。
05-09 周四 vLLM的部署和实践
不当初
05-09 2270
GitHub项目官方网站上解释了Fast、和flexible and easy to use的原因。参考链接网页描述大模型推理加速工具：vLLM描述了安装，离线推理和在线服务的简单演示比HuggingFace快24倍！伯克利LLM推理系统开源碾压SOTA，GPU砍半描述了优点，并且有很多的图。【LLM】vLLM部署与int8量化-优快云博客。
使用vllm部署自己的大模型
热门推荐
刘炫320的博客
04-26 2万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
开源模型应用落地-qwen模型小试-Qwen3-Reranker 模型集成 vLLM 实战解析（一）
以微薄之力，予他人些许温暖.
07-15 4411
本文介绍了将Qwen3-Reranker模型集成至高效推理引擎vLLM的技术方案，旨在提升大模型在信息爆炸时代下的排序效率与应用落地能力。
开源模型应用落地-qwen模型小试-Qwen3-Embedding 模型集成 vLLM 实战解析（二）
最新发布
以微薄之力，予他人些许温暖.
07-16 3652
Qwen3-Embedding凭借卓越的多语言理解和文本表征能力，结合vLLM框架实现高效推理，推动语义检索和生成任务迈向新高度。
【Qwen2部署实战】部署高效AI模型：使用vLLM进行Qwen2-7B模型推理
寻道AI，探索AI无限可能！
07-08 8546
在当今快速发展的人工智能领域，大型语言模型（LLMs）已成为推动自然语言处理（NLP）任务的关键力量。这些模型以其强大的理解和生成文本的能力而闻名，但同时也因其对计算资源的高需求而备受关注。vLLM作为一个创新的解决方案，旨在简化LLMs的部署流程，提高效率，降低资源消耗。本文将详细介绍如何利用vLLM部署Qwen2-7B模型，并探讨其在离线推理、API服务以及多卡分布式部署中的应用。
【大模型LLM第十二篇】模型部署框架之vLLM模型服务部署实战讲解
AI蜗牛车
10-10 4308
前言vLLM是用于LLM推理和服务的工具库。vllm由以下几点突出的“快”：最先进的服务吞吐量PagedAttention连续批处理传入请求快速模型执行以CUDA/HIP graph量化:GPTQ, AWQ, SqueezeLLM, FP8 KV缓存优化CUDA内核文档和代码：https://docs.vllm.ai/en/stable/https://github.com/vllm-projec...
大模型实战教程 | 用vllm快速部署大模型
Code1994的博客
12-15 3793
在迅速发展的AI领域中，高效部署大型语言模型（LLM）对于许多应用程序至关重要。对于希望利用LLM力量的开发人员和组织来说，vLLM提供了一种简单、快速且经济高效的解决方案，用于在GPU上运行模型。本文将指导您完成vLLM的安装、在服务器上运行它以及将其集成到应用程序中的步骤。
简单使用vllm
make_progress的博客
10-22 2540
vLLM是一个快速且易于使用的LLM推理和服务库。它支持分布式部署、容器化部署和OpenAI的数据格式等，并且内置了大模型服务，可以直接用命令启动。vllm与Ollama有一定的区别，Ollama适合个人和小服务，vllm适合企业和提供服务，vllm的性能较高，并且并发性也较好。vLLM是一个Python库，它包含预编译的C++和CUDA（12.1）二进制文件，因此需要有GPU支持。
vLLM - 基本使用
2501_90914666的博客
03-06 563
2025-03-06（四）
vllm 库调用大模型
木下瞳的博客
02-17 2984
vllm 这个库目前只能在 linux 上用， win 是用不了的，pip 安装不了，这里弄了一个调用示例代码。
VLLM：虚拟大型语言模型（Virtual Large Language Model）
MrLi的博客
03-18 883
管理角度： - 设立明确的管理策略和政策，以确保数据安全和隐私保护。 - 设计有效的质量控制流程，监控和维护课程质量。 - 提供持续的用户支持和客户关系管理，以提高用户满意度。
【大模型】大模型推理部署工具之vLLM的使用（1）
酒酿小圆子呀～
03-02 1974
首先介绍一下vLLM是什么？vLLM 是一个快速且易用的用于 LLM 推理和服务的库。vLLM最初由UC Berkeley的Sky Computing Lab 开发，现已发展成为一个由学术界和工业界共同贡献的社区驱动项目。最先进的服务吞吐量使用对注意力键和值内存进行高效管理对传入请求进行连续批处理使用 CUDA/HIP 图进行快速模型执行量化：GPTQ、AWQ、INT4、INT8 和 FP8优化的 CUDA 内核，包括与 FlashAttention 和 FlashInfer 的集成。
VLLM快速使用指南
大米饭
11-19 2134
基于 CUDA：12.4.1 、Ubuntu 22.04 搭建一个 VLLM的可用环境，用于推理加速。
vllm的使用方式，入门教程
kcarly的专栏
02-27 3404
vLLM是一个强大且易于使用的推理框架，适用于多种场景。通过上述步骤，您可以快速上手并开始使用vLLM进行大语言模型推理。如果遇到问题，可以参考官方文档或社区资源进行解决。全参数微调（Full-Parameter Fine-Tuning）vLLM支持对预训练模型进行全参数微调，以适应特定任务或数据集。这种方法通过调整所有模型参数来优化性能，适用于需要大量数据和计算资源的场景。LoRA是一种高效、快速且参数效率高的微调方法，特别适用于资源有限的环境，如移动应用或边缘设备。
vllm教程
03-19
### 关于 vLLM 的教程和使用指南 vLLM 是一种高效的推理框架，支持多种大语言模型的部署和服务化。以下是基于提供的参考资料以及专业知识整理的内容。 #### 1. 官方中文教程：快速入门 根据官方文档说明，可以通过以下命令启动 `Qwen2.5-1.5B-Instruct` 模型的服务端[^1]： ```bash vllm serve Qwen/Qwen2.5-1.5B-Instruct ``` 此命令会自动下载指定模型并初始化服务环境。对于初学者来说，这是最简单的上手方式之一。 #### 2. 部署 Qwen2VL API 的实战案例 如果目标是部署多模态模型（如 Qwen2VL），可以参考一篇详细的博文介绍[^2]。它涵盖了从基础到高级的技术细节，包括但不限于以下几个方面： - **Docker 化部署**：利用容器技术简化开发与生产环境的一致性管理。 ```dockerfile FROM python:3.9-slim RUN pip install --upgrade pip && \ pip install transformers vllm torch COPY . /app/ CMD ["sh", "-c", "vllm serve Qwen/Qwen2VL"] ``` - **性能调优**：针对不同硬件配置调整批处理大小、线程数等参数以提升吞吐量。 #### 3. Python 实战应用指南 除了上述内容外，《Python vLLM 实战应用指南》还提到了更多实用技巧[^3]。例如安装依赖项的方法如下所示： ```bash pip install vllm ``` 接着，在脚本中加载远程仓库中的预训练权重或者本地文件夹内的自定义版本均可实现无缝切换功能演示代码片段： ```python from vllm import LLM, SamplingParams # 初始化模型实例 model_path = 'Qwen/Qwen2.5-1.5B-Instruct' # 或者指向本地路径 llm = LLM(model=model_path) # 设置采样策略 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 输入提示词进行预测 prompts = ['你好', '今天天气怎么样？'] outputs = llm.generate(prompts=prompts, sampling_params=sampling_params) for output in outputs: prompt_token_ids = output.prompt_token_ids generated_token_ids = output.generated_token_ids print(f"Prompt token IDs: {prompt_token_ids}") print(f"Generated token IDs: {generated_token_ids}") ``` 以上示例展示了如何通过编程接口访问核心能力的同时保持灵活性。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Linux基金会AI&Data基金会

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值