LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]

最新推荐文章于 2025-04-25 16:58:36 发布
最新推荐文章于 2025-04-25 16:58:36 发布
阅读量5.4k 收藏 33
点赞数 18
分类专栏： LLM技术汇总 文章标签： 人工智能 prompt 大模型微调 VLLM FastChat Xinference 大模型部署
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.youkuaiyun.com/sinat_39620217/article/details/139238092
版权

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]

训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使用PyTorch代码、使用VLLM/XInference/FastChat等框架，也可以使用llama.cpp/chatglm.cpp/qwen.cpp等c++推理框架。

  • 常见推理方法
    • Greedy Search 贪婪搜索方式。按照前面的讲解，模型会按照词表尺寸生成概率。贪婪方式会不断选择生成
了解本专栏 订阅专栏 解锁全文
【人工智能时代】- LLM 大模型学习必知必会系列-VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
xiaoli8748的专栏
09-22 1270
do_sample：布尔类型。是否使用随机采样方式运行推理，如果设置为False，则使用beam_search方式temperature：大于等于零的浮点数。公式为：从公式可以看出，如果T取值为0，则效果类似argmax，此时推理几乎没有随机性；取值为正无穷时接近于取平均。一般temperature取值介于[0, 1]之间。取值越高输出效果越随机。如果该问答只存在确定性答案，则T值设置为0。反之设置为大于0。top_k：大于0的正整数。从k个概率最大的结果中进行采样。k越大多样性越强，越小确定性越强。
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战
丨汀、的博客
05-28 1608
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战
操作指南：vLLM 部署开源大语言模型（LLM）
最新发布
jane_xing的博客
04-25 1726
vLLM 是一个专为高效部署大语言模型（LLM）设计的开源推理框架，其核心优势在于显存优化、高吞吐量及云原生支持。安装 vLLM 或从源码安装最新功能： Docker 部署：使用官方镜像快速启动服务，适用于容器化环境： 依赖环境从 Hugging Face 加载模型 vLLM 支持直接加载 Hugging Face 托管的模型，例如： 若需加速国内下载，可设置镜像源： 本地模型路径 若模型已下载至本地，可直接指定路径启动： 三、服务启动与 API 调用 启动 OpenAI 兼容服务
大模型框架：vLLM
m0_37559973的博客
05-24 1万+
​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。
vLLM：高性能大语言模型推理引擎全面解析
m0_59164520的博客
04-17 1406
vLLM（Vectorized Large Language Model Serving System）是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型推理引擎。它专注于通过创新的内存管理和计算优化技术，实现高吞吐、低延迟、低成本的模型服务。
LLM 大模型学习必知必会系列(一)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化
强化学习曾小健
08-03 1754
do_sample：布尔类型。是否使用随机采样方式运行推理，如果设置为False，则使用beam_search方式temperature：大于等于零的浮点数。公式为：从公式可以看出，如果T取值为0，则效果类似argmax，此时推理几乎没有随机性；取值为正无穷时接近于取平均。一般temperature取值介于[0, 1]之间。取值越高输出效果越随机。如果该问答只存在确定性答案，则T值设置为0。反之设置为大于0。top_k：大于0的正整数。从k个概率最大的结果中进行采样。
深入解析 vLLM：高性能 LLM 服务框架的架构之美（一）原理与解析
Bryce1010's Blog
02-14 4060
我们将看到调度器如何像一个睿智的指挥官，统筹安排每个请求的处理时机，以及内存管理器如何通过创新的 PagedAttention 机制，让有限的显存发挥出最大效能。调度器会判断是否有足够的内存块可以分配给新的 tokens。在模型部署的初始化阶段，vLLM 会通过一个模拟实验步骤来决定 GPU 和 CPU 上可以分配的 KV cache 物理块数量，确保后续推理时的内存分配不会导致显存溢出。从最初的模型初始化，到 KV Cache 的预分配，再到请求的具体处理，vLLM 展现出了令人印象深刻的工程智慧。
常用推理加速框架及用法(vLLM/DeepSpeed-MII/LightLLM/TensorRT-LLM)
热门推荐
llptyy的博客
04-27 1万+
常用推理框架及用法（vLLM/DeepSpeed-MII/LightLLM/TensorRT_LLM）
VLLM调优
qq_46059596的博客
03-24 2475
vLLM 是一个高效的大模型推理框架，专为优化显存利用和高吞吐量设计。如果需要更具体的代码框架示例，可以进一步说明你的使用场景（如多GPU部署、API服务等）！这些代码需要在加载模型时一次性配置，且必须在调用。（如模型加载参数、显存优化、并行策略等）必须写在。（如解码策略、生成长度等）则在调用。部分系统级配置（如环境变量）需在。在 vLLM 中，所有与。
vLLM加速推理的内部原理详解
日常学习与专研的记录
07-24 6445
本文详细介绍 vllm 加速推理的内部原理，从 vllm 的背景以及最后的原理详细阐述。
vLLM-prefix浅析（System Prompt，大模型推理加速）
张伟的专栏
04-20 4560
本文浅析了在大模型推理加速方面一个非常优秀的项目 vLLM 的一个新特性 Prefix。在 Prompt 中有相同前缀时可以提高吞吐量降低延迟，换句话说可以省去这部分相同前缀在自注意力阶段的重复计算。更新 2024.1.18：Prefix 已经合并到主分支上了！如果你的 vLLM 不能使用也许是时候升级一下体验下新功能哩！
VLLM性能调优
smartcat2010的博客
01-30 1119
减少max_num_seqs或max_num_batched_tokens。减少一个batch里的请求、token个数，从而减少KV cache占用。显存不够的时候，某些request会被抢占。其KV cache被清除，腾退给其他request，下次调度到它，重新计算KV cache。可以查看VLLM自带的Prometheus指标，查看抢占的请求数量。- 增大gpu_memory_utilization。提高KV cache占用的显存百分比。- 增大tensor_parallel_size。
VLLM加速LLM推理
Everyday try to become better -Kobe Bryant
03-21 857
【代码】VLLM加速LLM推理。
【人工智能模型部署】2025 Python部署AI模型：VLLM与TensorRT-LLM性能对比及应用场景分析
04-24
TensorRT-LLM由NVIDIA推出，基于TensorRT推理引擎优化Transformer类大模型，支持多种量化模式和多GPU并行计算，提高性能和减少内存占用。性能对比显示，TensorRT-LLM在单GPU和多GPU环境下推理速度更快，特别是在高...
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践
丨汀、的博客
05-17 1416
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践
训练VLM(视觉语言模型)的经验
AIBigModel的博客
10-21 1636
知乎：lym链接：https://zhuanlan.zhihu.com/p/890327005基于prompt确实不行（情况包括格式输出不稳定、格式输出基本不对、任务不完全会、任务完全不会等情况，难度逐渐加大），选择上SFT微调。业务场景基本用不到强化学习，强化解决的是最后一公里的问题，可以理解为有两种非常接近的输出（这两种输出都非常接近目标输出，此时已经解决了90%的问题），强化学习会对相同的输入，打压其中一种不希望的输出，同时增强另一种更接近目标的希望的输出（从DPO loss就可以看出）。
vLLM加速部署LLM
九品神元师
09-16 1377
目前只支持操作系统（包括子系统），因此环境准备分为 2 部分：Linux 环境准备：我们的操作系统如果是系统，那就无需其他操作。Python 研发环境准备。拉取现成的镜像，直接拉取nvidia现成的镜像拉取成功后启动容器，在容器中进行以下操作。
VLLM框架下的高效大模型推理实践
weixin_41888295的博客
03-27 1829
随着深度学习技术的发展，大模型在各个领域展现出强大的性能。然而，大模型的推理过程往往伴随着高昂的计算和存储成本。本文将介绍VLLM（Vectorized Large Language Model）框架，并分析如何通过该框架进行高效的大模型推理，包括VLLM框架的优势、关键技术、实际应用案例以及优化策略，旨在为读者提供一套可操作的解决方案。
从头讲解vLLM推理加速原理
m0_59164520的博客
09-03 4122
vLLM 解决了 LLM 部署中的一个关键瓶颈：推理和服务效率低下。使用创新的 PagedAttention 技术，vLLM 优化了核心注意操作期间的内存使用，从而显著提高了性能。这意味着更快的推理速度和在资源受限的硬件上运行 LLM 的能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值