vLLM 实战教程汇总,从环境配置到大模型部署,中文文档追踪重磅更新

【总结篇】LLM推理环境安装部署全指南 本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户,建议GPU架构为Turing或更新(对应RTX 20系或以上)。 阅读详情
AI摘要

本文介绍了大模型推理框架 vLLM,其通过 PagedAttention 机制提升性能。2025 年 1 月发布 v1 alpha 版本,重构核心架构,引入统一调度器等优化。还更新了 v0.8.5 版本,提升兼容性与稳定性。此外,提供了从基础安装到推理部署的教程,以及多个大模型的部署案例。

随着大语言模型(LLM)逐步走向工程化与规模化部署,其推理效率、资源利用率以及硬件适配能力正成为影响应用落地的核心问题。2023 年,加州大学伯克利分校的研究团队开源 vLLM,通过引入 PagedAttention 机制对 KV 缓存进行高效管理,显著提升模型吞吐量与响应速度,在开源社区迅速走红。截至目前,vLLM 在 GitHub 上已突破 46k stars,是大模型推理框架中的明星项目。

2025 年 1 月 27 日,vLLM 团队发布 v1 alpha 版本, 在过去近两年的开发基础上对核心架构进行系统性重构。此次更新的 v1 版本核心在于执行架构的全面重构, 引入隔离式 EngineCore,专注模型执行逻辑,采用多进程深度整合,通过 ZeroMQ 实现 CPU 任务并行化多进程深度整合,显式分离 API 层与推理核心,极大提升了系统稳定性。

同时,引入统一调度器(Unified Scheduler),具备调度粒度细、支持 speculative decoding、chunked prefill 等特性,在保持高吞吐量的同时提升延迟控制能力。在这里插入图片描述

VLLM v1 的多进程处理架构及数据流向图

此外,vLLM v1 突破性采用无阶段调度设计, 优化了用户输入和模型输出 token 的处理方式,简化了调度逻辑。该调度器不仅支持分块预填充(chunked prefill)和前缀缓存(prefix caching),还能够进行推测解码(speculative decoding),有效提高推理效率。

在这里插入图片描述

不同请求的调度分配过程

缓存机制的优化是另一大亮点。vLLM v1 实现了 zero-overhead 前缀缓存(prefix caching), 即使在缓存命中率极低的长文本推理场景下,也能有效避免重复计算,提升推理一致性与效率。
在这里插入图片描述

无前缀缓存(紫色)与有前缀缓存(绿色) 在不同缓存命中率下的吞吐量

根据下图可以看出,vLLM v1 与 v0 版本相比,吞吐量提升了高达 1.7 倍,尤其在高 QPS 情况下,性能提升更为显著。需要注意的是,作为 alpha 阶段版本,vLLM v1 当前仍处于活跃开发中,可能存在稳定性与兼容性问题,但其架构演进方向已明确指向高性能、高可维护性与高度模块化,为后续团队快速开发新功能奠定了坚实的基础。

在这里插入图片描述

Llama 不同版本模型下 vLLM V0 与 V1 的延迟-QPS 关系对比

就在上个月,vLLM 团队还进行了一次小版本更新,重点提升了模型兼容性与推理稳定性。本次更新的 vLLM v0.8.5 版本引入了对 Qwen3 与 Qwen3MoE 模型的首日支持,新增融合 FP8_W8A8 MoE 内核配置,修复了多模态场景中的关键错误,进一步增强生产环境下的性能鲁棒性。

为了帮助大家更高效地上手 vLLM,小编整理了一系列实用教程与模型案例,涵盖从基础安装到推理部署的完整流程, 帮助大家快速入门与深度理解,感兴趣的小伙伴快来动手体验吧!

更多 vLLM 中文文档及教程可访问:

https://vllm.hyper.ai/

基础教程

1 . vLLM 入门教程:零基础分步指南

在线运行: https://go.hyper.ai/Jy22B

该教程逐步展示了如何配置和运行 vLLM,提供 vLLM 的安装、模型推理、启动 vLLM 服务器以及如何发出请求的完整入门指南。

2 . 使用 vLLM 对 Qwen2.5 推理

在线运行:https://go.hyper.ai/SwVEa

该教程详细展示了如何对一个 3B 参数的大语言模型的进行推理任务,包括模型的加载、数据的准备、推理过程的优化,以及结果的提取和评估。

3 . 使用 vLLM 加载大模型,进行少样本学习

在线运行: https://go.hyper.ai/OmVjM

该教程为使用 vLLM 加载 Qwen2.5-3B-Instruct-AWQ 模型进行少样本学习,详细解释了如何通过检索训练数据获取相似问题构建对话,利用模型生成不同输出,推断误解并结合相关方法进行整合排名等操作,实现从数据准备到结果提交的完整流程。

4 . 将 LangChain 与 vLLM 结合 使用教程

在线运行: https://go.hyper.ai/Y1EbK

本教程围绕将 LangChain 与 vLLM 结合使用展开,旨在简化并加速智能 LLM 应用程序开发,涵盖从基础设置到高级功能应用的多方面内容。

大模型部署

1 . 使用 vLLM 部署 Qwen3-30B-A3B

发布机构: 阿里巴巴 Qwen 团队

在线运行: https://go.hyper.ai/6Ttdh

Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中,表现出与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 相媲美的能力。值得一提的是,Qwen3-30B-A3B 的激活参数数量仅为 QwQ-32B 的 10%,但表现更胜一筹,甚至像 Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。

2 . 使用 vLLM 部署 GLM-4-32B

发布机构: 智谱 AI、清华大学

在线运行:https://go.hyper.ai/HJqqO

GLM-4-32B-0414 在代码工程、工件生成、函数调用、基于搜索的问答和报告生成方面均取得了良好的效果。特别是在代码生成或特定问答任务等几个基准测试中,GLM-4-32B-Base-0414 实现了与 GPT-4o 和 DeepSeek-V3-0324(671B))等较大模型相当的性能。

3 . 使用 vLLM 部署 DeepCoder-14B-Preview

发布机构: Agentica 团队、Together AI

在线运行: https://go.hyper.ai/sYwfO

该模型基于
DeepSeek-R1-Distilled-Qwen-14B,通过分布式强化学习(RL)进行了微调。它拥有 140 亿参数,在 LiveCodeBench v5 测试中达到了 60.6% 的 Pass@1 准确率,性能与 OpenAI 的 o3-mini 相当。

4 . 使用 vLLM 部署 Gemma-3-27B-IT

发布机构: MetaGPT 团队

在线运行: https://go.hyper.ai/0rZ7j

Gemma 3 是一款多模态大模型,能够处理文本和图像输入并生成文本输出,其预训练变体和指令调优变体均提供开放的权重,适用于各种文本生成和图像理解任务,包括问答、摘要和推理。其相对较小的尺寸使得它们能够在资源有限的环境中部署。本教程使用 gemma-3-27b-it 作为演示进行模型推理。

更多应用

1 . OpenManus + QwQ-32B 实现 AI Agent

发布机构: MetaGPT 团队

在线运行: https://go.hyper.ai/RqNME

OpenManus 是由 MetaGPT 团队于 2025 年 3 月推出的开源项目,旨在复刻 Manus 的核心功能,为用户提供无需邀请码、可本地化部署的智能体解决方案。QwQ 是 Qwen 系列的推理模型,相比传统指令调优模型,QwQ 具备思考和推理能力,在下游任务尤其是难题上能取得显著性能提升。本教程基于 QwQ-32B 模型和 gpt-4o 为 OpenManus 提供推理服务。

2 . RolmOCR 跨场景极速 OCR 开源识别新基准

发布机构: Reducto AI

在线运行: https://go.hyper.ai/U3HRH

RolmOCR 是基于 Qwen2.5-VL-7B 视觉语言模型开发的开源 OCR 工具。它能快速且低内存地从图片和 PDF 中提取文字,优于同类工具 olmOCR。RolmOCR 无需依赖 PDF 元数据,简化流程并支持多种文档类型,如手写笔记和学术论文。

以上就是小编为大家准备的 vLLM 相关的教程,感兴趣的小伙伴速来亲自体验吧!

为了帮助国内用户更好地理解和应用 vLLM,HyperAI超神经的社区志愿者已协作完成首个 vLLM 中文文档,现已完整上线至 hyper.ai。 内容涵盖模型原理、部署教程与版本解读,为中文开发者提供系统化的学习路径与实用资源。

更多 vLLM 中文文档及教程可访问:https://vllm.hyper.ai/

【LLM】vLLM部署与int8量化 介绍了vLLM原理并讲解如何支持peft,对不同的decoding methods进行了说明,同时详述了int8量化的过程。 阅读详情

相关推荐

LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]

LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]

丨汀、的博客 6374

政务AI落地真相:LLaMA本地化部署的七道合规门槛

大语言模型(LLM)在政府场景的应用,核心不在参数规模或对话能力,而在于能否满足数据主权、可解释性、安全鲁棒性等刚性工程要求。LLaMA因开源可控、支持全栈本地化部署,成为政务AI主流基座选择,但其‘可用’不等于‘合规’——需深度适配等保2.0、NIST AI RMF及国产信创环境。技术价值体现在可审计性、低微调成本与模块化集成能力;典型应用场景包括12345热线智能工单、公积金政策问答、医保规则推理等高确定性任务。本文聚焦LLaMA在真实政务项目中必须跨越的七道硬门槛,揭示从概念验证到生产上线的关键工程实

frank1998819 723

抓包抖音充值页面实现微信支付宝充值抖币,可提供api

抓包抖音充值接口教程,实现微信支付宝充值抖币收款通道

eeeee1212的博客 1万+

vLLM 部署大模型

vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作(没错就是搞出 Vicuna 的那个 group),最大亮点是采用 Paged Attention 技术,结合 Continuous Batching,极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。

哦豁灬 13万+

EXCEL VBA 导出高清图片方法

EXCEL VBA 导出高清图片方法 将EXCEL表格内容另存为图片的方法有很多种,简单的比如“复制为图片格式并另存”,“打印成XPS”等等,本文着重的是利用VBA实现的方法。 该方法适合用于中大型图文表格输出为图片格式,方便传阅,在office2010及以上版本最为流畅。 具体看代码: Sub printA4() Dim rng As Range '定义截图范围变量 'm = 20...

nfser_burn7的专栏 1万+

深入Linux内核:PTP硬件时间戳(HW Timestamp)是如何炼成的?

本文深入探讨了Linux内核中PTP硬件时间戳(HW Timestamp)的实现原理与实战应用。通过分析IEEE 1588协议在网络时间同步中的关键作用,详细解析了硬件时间戳在Linux内核中的架构设计、驱动开发及性能优化技巧,帮助开发者实现纳秒级精度的时间同步。

weixin_30727835的博客 655

vLLM初探

是一个快速且易于使用的库,用于 LLM 推理和服务,可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」,有效地管理注意力键和值。在吞吐量方面,vLLM的性能比HuggingFace Transformers(HF)高出 24 倍,文本生成推理(TGI)高出3.5倍。是伯克利大学LMSYS组织开源的大语言模型高速推理框架,旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。

邹中凡 7277

PyTorch复现PSMNet踩坑全记录:从环境配置到KITTI数据集训练

本文详细记录了使用PyTorch复现CVPR经典立体匹配模型PSMNet的全过程,从环境配置到KITTI数据集训练,特别针对2023年主流软硬件环境中的常见问题提供解决方案。文章重点介绍了PSMNet的金字塔池化模块和堆叠沙漏结构,帮助研究者和工程师快速实现工业级深度估计,节省大量试错时间。

weixin_30897233的博客 328

一文说清VLLM .VS.Ollama的区别

对比VLLM与Ollama,解析两者在性能、易用性和应用场景的异同,助你选择合适框架。

打造全国最全的AI Agent开发知识领域的博客 5349

从零上手:基于英飞凌TC377的UDE STK 5.0实战调试指南

本文详细介绍了基于英飞凌TC377芯片和UDE STK 5.0的实战调试指南,涵盖硬件连接、工作空间配置、程序烧录、多核调试等关键步骤。特别针对汽车电子领域常见的多核架构调试难题,提供了断点设置、变量监控等实用技巧,帮助开发者快速上手并优化调试效率。

weixin_30839881的博客 686

基于STM32的室内环境监测系统设计与实现

摘要 本文设计了一种基于STM32的室内环境监测系统,通过传感器实时采集温湿度、空气质量、烟雾浓度等数据,并利用Wi-Fi模块上传至云服务器。系统采用STM32F103C8T6作为主控芯片,结合DHT11、MQ系列传感器及BMP280气压传感器实现数据采集,通过ESP8266模块实现远程数据传输。用户可通过手机APP实时查看环境参数,并在数据超标时触发报警。实验表明,系统运行稳定,监测精度高,具有低成本、易扩展等特点,为改善室内环境质量提供了有效解决方案。 关键词:STM32;室内环境监测;传感器;Wi-F

3254968421的博客 222

OpenBayes 一周速览丨vLLM 实战教程汇总,从环境配置到大模型部署,中文文档追踪重磅更新

随着大语言模型(LLM)逐步走向工程化与规模化部署,其推理效率、资源利用率以及硬件适配能力正成为影响应用落地的核心问题。2023 年,加州大学伯克利分校的研究团队开源 vLLM,通过引入 PagedAttention 机制对 KV 缓存进行高效管理,显著提升模型吞吐量与响应速度,在开源社区迅速走红。截至目前,vLLM 在 GitHub 上已突破 47k stars,是大模型推理框架中的明星项目。

OpenBayes的博客 1118

YOLOv11知识蒸馏,实现无损涨点,包含逻辑蒸馏和特征蒸馏中的不同蒸馏方法,适用专栏内的所有模型

知识蒸馏(Knowledge Distillation)是由 Hinton 等人在 2015 年提出来的,主要是用一个复杂的教师模型去指导一个简单的学生模型训练,这样能让学生模型在保持高精度的同时,还能减少计算量。本文便是讲解如何针对的原始模型以及改进后的模型进行知识蒸馏,轻松实现无损涨点。知识蒸馏的核心在于利用已训练好的复杂模型(教师模型)去指导一个更简单的模型(学生模型)进行训练,以此让学生模型在保留较高精度的同时,降低计算成本。特征蒸馏(Feature Distillation)是知识蒸馏的一种形式,

Limiiiing的博客 4970

Qwen 3.8 27B本地部署指南:在RTX 4090上运行顶级开源大模型

大型语言模型(LLM)通过海量参数模拟人类语言理解与生成能力,其核心原理基于Transformer架构的注意力机制。模型量化技术通过降低参数精度(如从FP16到INT4)来压缩模型体积和显存占用,是实现高性能模型在消费级硬件上部署的关键。这项技术的工程价值在于打破了云端算力垄断,为开发者提供了低成本、高隐私、可深度定制的AI能力。在应用场景上,量化后的模型特别适合本地研发测试、私有数据处理、代码辅助和AI Agent构建。以阿里最新开源的Qwen 3.8系列为例,其27B参数版本经过4-bit量化后,显存占

weixin_34200628的博客 313

9、自动定理证明的发展历程与关键技术

本文全面介绍了自动定理证明的发展历程、关键技术及其实际应用,包括消解原理、参数化、支撑集策略等核心方法,并探讨了算法优化、数据结构优化及并行计算等提升效率的手段。同时,文章展望了未来发展方向,如深度学习在定理证明中的应用、交互式定理证明以及高阶逻辑的研究前景。

ll5678的博客 508

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

大模型框架:vLLM

​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」,提供易用、快速、便宜的LLM服务。

m0_37559973的博客 1万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

小白能看懂的AI大模型系列-本地部署(vllm)

目前开源大模型的一大优势就是,它可以本地化部署,只要你的显卡硬件配置能满足要求,你可以在自己的本地部署属于自己的大模型,不用担心数据泄露等问题。

DEVELOPERAA的博客 2374

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

使用vllm多节点多卡部署大模型

要在多节点多卡的环境中部署一个大模型,可以使用(Very Large Language Model)框架。vLLM 是一个高效的推理和服务框架,特别适合大规模语言模型的部署。

qq_15060477的博客 4184

vLLM介绍

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架,旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库,用于 LLM 推理和服务,可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」,有效地管理注意力键和值。

哦豁灬 2万+

使用 vLLM 部署本地 LLM 指南

我们输入以下命令启动服务器,–model 为本地模型的路径,–served-model-name 是模型在服务器中的别名,这里我们取简称 openchat,其他都是默认值,当然也可以自己设置。在这里我们不演示了,直接将 vLLM 部署为模仿 OpenAI API 协议的服务器,这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然,你也可以试一试 ChatCompletions 格式的请求,ChatCompletions API 的请求内容如下,两种的格式还是有一些区别的。

spicy_chicken123的博客 4万+

使用vllm部署自己的大模型

使用vllm能够部署一个非常方便使用的大模型的后端,供webui前端使用,它不仅能够加速模型的推理过程,包括支持fast-attn库,而且还具有很友好的openai风格的api调用功能。

刘炫320的博客 3万+

vLLM深度解析:高性能大语言模型推理引擎全揭秘

vLLM(Vectorized Large Language Model Serving System)是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型推理引擎。它专注于通过创新的内存管理和计算优化技术,实现高吞吐、低延迟、低成本的模型服务。

2401_84495872的博客 2507

vLLM(vLLM.ai)生产环境部署大模型

vLLM是一款高性能大语言模型推理框架,提供单机API、多机分布式和K8s容器化三种生产部署方案。部署前需确保环境满足CUDA 11.8+/12.1+、Python 3.8~3.11、NVIDIA显卡等要求。核心部署模式包括:1)单机API服务,支持多卡并行;2)多机分布式部署,适用于70B+大模型;3)K8s容器化方案,便于生产环境管理。所有方案均兼容OpenAI API接口,支持量化模型优化显存占用,并提供详细的环境验证、模型准备和性能调优指南。

王小工小工历程 3329

DeepSeek 部署指南 (使用 vLLM 本地部署)

vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库,用于进行大型语言模型的推理和部署。

m0_48891301的博客 4万+

大模型运行框架 VLLM 深度分析!

VLLM 是伯克利大学 LMSYS 组织开源的大语言模型高速推理框架,旨在极大地提升实时场景下的语言模型服务的吞吐量与内存使用效率。它通过创新的技术和优化策略,有效管理计算资源,为大语言模型的高效运行提供了强大支持。VLLM 利用全新的注意力算法「PagedAttention」,对注意力键和值进行高效管理,其核心理念在于通过优化内存管理和资源调度,提升大语言模型部署和执行的效率。

m0_59235945的博客 5970

vLLM加速部署LLM

目前只支持操作系统(包括子系统),因此环境准备分为 2 部分:Linux 环境准备:我们的操作系统如果是系统,那就无需其他操作。Python 研发环境准备。拉取现成的镜像,直接拉取nvidia现成的镜像拉取成功后启动容器,在容器中进行以下操作。

九品神元师 1872
上一篇: 【Triton 教程】triton.heuristics
下一篇: 【vLLM 学习】Audio Language
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值