VLLM性能调优

已于 2025-01-30 21:43:58 修改
阅读量1.2k 收藏 1
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM推理优化 文章标签： GPU 大模型
于 2025-01-30 21:40:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smartcat2010/article/details/145400970

1. 抢占

显存不够的时候，某些request会被抢占。其KV cache被清除，腾退给其他request，下次调度到它，重新计算KV cache。

报这条消息，说明已被抢占：

WARNING 05-09 00:49:33 scheduler.py:1057 Sequence group 0 is preempted by PreemptionMode.SWAP mode because there is not enough KV cache space. This can affect the end-to-end performance. Increase gpu_memory_utilization or tensor_parallel_size to provide more KV cache memory. total_cumulative_preemption_cnt=1

如果不想被抢占，解决办法：

- 增大gpu_memory_utilization。提高KV cache占用的显存百分比。

- 减少max_num_seqs或max_num_batched_tokens。减少一个batch里的请求、token个数，从而减少KV cache占用。

- 增大tensor_parallel_size。使用多张GPU的TP并行。

可以查看VLLM自带的Prometheus指标，查看抢占的请求数量。或者打开日志disable_log_stats=False。

2. chunked prefill

最低0.47元/天 解锁文章

200万优质内容无限畅学
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 5531
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
VLLM专题（二十九）—优化与调优
03-18 140
由于 Transformer 架构的自回归特性，有时 KV 缓存空间不足以处理所有批处理请求。vLLM 可以通过抢占请求来释放 KV 缓存空间，以供其他请求使用。被抢占的请求会在 KV 缓存空间再次充足时重新计算。当发生这种情况时，系统会打印以下警告： 虽然这种机制确保了系统的鲁棒性，但抢占和重新计算可能会对端到端延迟产生不利影响。如果您经常遇到 vLLM 引擎的抢占问题，可以考虑以下操作：增加 gpu_memory_utilization vLLM 通过使用 的内存预分配 GPU 缓存。通过增加此利用率
利用 vLLM 优化部署私有化大模型，让推理速度飞起
小毕超博客
01-21 2933
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。在性能优化上 vLLM 通过引入创新的架构和算法，如Paged Attention、动态张量并行等，减少计算开销和提高吞吐量，实现推理过程的高效，从而加速LLM在推理阶段的性能。一定程度上解决了传统大模型在硬件资源有限情况下的性能瓶颈。
VLLM推理大模型显存不够后，导致程序引擎崩溃的调优方案尝试
最新发布
weixin_48470176的博客
05-13 1045
使用A800 80G硬件和chat-glm4-9b-128K模型进行推理时，遇到显存不足导致的引擎崩溃问题。具体表现为处理超长文本请求（约10万字符）时，显存耗尽并报错torch.cuda.OutOfMemoryError，进而导致后续请求无法处理。 vllm.engine.async_llm_engine.AsyncEngineDeadError: Background loop has errored already. 报错的解决方案
VLLM调优
qq_46059596的博客
03-24 3104
vLLM 是一个高效的大模型推理框架，专为优化显存利用和高吞吐量设计。如果需要更具体的代码框架示例，可以进一步说明你的使用场景（如多GPU部署、API服务等）！这些代码需要在加载模型时一次性配置，且必须在调用。（如模型加载参数、显存优化、并行策略等）必须写在。（如解码策略、生成长度等）则在调用。部分系统级配置（如环境变量）需在。在 vLLM 中，所有与。
vLLM显存优化
xnuscd的博客
10-25 5380
在 vLLM 中，使用梯度检查点的策略会大幅减少中间激活存储在显存中的需求。在实际应用中，你可以根据任务的需求逐步调整这些参数，找到性能和显存消耗的最佳平衡点。如果可能，考虑使用量化后的模型，如 8-bit 或 4-bit 量化，这样可以显著降低显存的占用。：尝试加载量化后的模型（8-bit 或 4-bit），这可以在减少显存使用的同时维持模型的性能。：如果有多块 GPU，使用分布式推理将模型切分到不同的设备上，以减少单卡的显存压力。，并观察显存使用情况的变化。，同时观察显存的使用情况。
LLM 大模型学习必知必会系列(一)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化
强化学习曾小健
08-03 1850
do_sample：布尔类型。是否使用随机采样方式运行推理，如果设置为False，则使用beam_search方式temperature：大于等于零的浮点数。公式为：从公式可以看出，如果T取值为0，则效果类似argmax，此时推理几乎没有随机性；取值为正无穷时接近于取平均。一般temperature取值介于[0, 1]之间。取值越高输出效果越随机。如果该问答只存在确定性答案，则T值设置为0。反之设置为大于0。top_k：大于0的正整数。从k个概率最大的结果中进行采样。
vllm 参数介绍
张伟的专栏
04-12 5868
一个重要参数enable-prefix-caching 特殊场景会提高很大性能。详细建视频：https://www.toutiao.com/video/7355331984845734435/?channel=&source=search_tabBelow, you can find an explanation of every engine argument for vLLM:--model Name or path of the huggingface mode
ascend-vllm性能调优
04-02
以下是对Ascend-vLLM性能调优的系统性指导，分步骤说明关键优化方向及实践方法： --- ### **1. 硬件环境优化** #### **1.1 昇腾芯片配置** - **驱动与固件更新** 确保昇腾芯片（如Ascend 910/310）的驱动和CANN...
浅谈语言模型推理框架 vLLM 0.6.0性能优化
Ucloud_TShare的博客
11-07 3036
上优刻得AI推理平台，享极速推理体验！ 优刻得AI推理平台上线高性能推理服务框架vLLM，新版vLLM升级「服务推理进程分离」、「多步调度」、「异步输出处理」等机制，以降低CPU争抢开销、减少GPU空闲等待，并使得模型推理和输出处理异步进行。通过不断优化硬件资源利用率，让模型推理更高效。
vllm调优
03-25
### vLLM 性能调优的最佳实践 vLLM 是一种用于大规模语言模型推理和训练的框架，其性能优化涉及多个方面，包括硬件资源管理、软件配置调整以及算法层面的改进。以下是基于已知引用和其他专业知识总结的 vLLM 性能...
一文速览vLLM支持的大模型推理技术和优化
强化学习曾小健
07-08 2881
通过Marlin内核，我们能够实现对模型参数的量化，从而减少模型的存储空间和计算量，提高模型在部署和推理过程中的性能和效率。Marlin内核通过特定的算法和优化策略，能够在保持模型精度的同时，显著提升模型的推理速度，从而为用户提供更加快速和高效的推理体验。速度和效率： 在生成式任务中，传统的贪婪解码或束搜索算法可能需要完整地搜索整个解码空间，这在大规模模型和长序列情况下会导致计算资源和时间的浪费。推测性解码通过提前终止、多假设生成等技术，能够在保证一定质量的情况下，显著提高解码速度和效率。
生产环境vLLM 部署 DeepSeek，如何调优，看这里
yxkong的专栏
03-14 1724
vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。
Neural Magic专家深度解析：vLLM性能提升2.7倍的秘籍
m0_59235699的博客
12-08 1225
文章导读：大家好，我是Rob，我负责Neural Magic的工程工作，加入公司已有两年时间。正如Michael提到的，我非常积极参与vLLM社区，并且是上游项目的贡献者之一。今天，我想与大家探讨最近备受关注的VM 0.6.0版本发布。这一版本的亮点是显著提升了H100 GPU上运行Llama 8B和Llama 70B模型的速度。为了让大家更好地了解我们是如何实现这些性能提升的，我将深入讲解这背后的技术细节。
显存不够也能跑DeepSeek！VLLM部署保姆级教程
qq_19288625的博客
02-21 5837
你是否还在为out of memory而苦恼？VLLM的各种优化参数帮你实现愿望！本文将详细介绍如何通过参数调优，让普通显卡也能流畅运行大语言模型。通过本文的介绍，相信你已经掌握了VLLM的部署要点！
深入解析 vLLM：高性能 LLM 服务框架的架构之美（一）原理与解析
Bryce1010's Blog
02-14 4534
我们将看到调度器如何像一个睿智的指挥官，统筹安排每个请求的处理时机，以及内存管理器如何通过创新的 PagedAttention 机制，让有限的显存发挥出最大效能。调度器会判断是否有足够的内存块可以分配给新的 tokens。在模型部署的初始化阶段，vLLM 会通过一个模拟实验步骤来决定 GPU 和 CPU 上可以分配的 KV cache 物理块数量，确保后续推理时的内存分配不会导致显存溢出。从最初的模型初始化，到 KV Cache 的预分配，再到请求的具体处理，vLLM 展现出了令人印象深刻的工程智慧。
vLLM：高性能大语言模型推理引擎详解与对比分析
AngelCryToo的专栏
04-15 1535
传统 LLM 推理时，KV Cache（存储注意力机制的 Key-Value 对）会占用大量显存，且由于请求长度不一，容易造成。的内存利用率，从而在相同硬件条件下实现更高的吞吐量（Throughput）和更低的延迟（Latency）。：vLLM 在通用 GPU 上接近 TensorRT-LLM，远超 HuggingFace。）是由加州大学伯克利分校团队开发的高性能大语言模型（LLM）推理引擎，专注于。机制（类似操作系统的分页内存管理），显著优化了。：vLLM 显存优化显著，适合长文本推理。
如何控制vLLM的显存，显存爆炸，显存溢出，qwen2.5显存
q742971636的博客
11-07 3530
vLLM是一个用于加速大语言模型推理的开源库，主要通过智能批处理和显存优化技术，使大模型在多GPU环境中高效运行。vLLM采用了动态KV缓存机制，这使得它在多请求场景中能够显著提升吞吐量和响应速度。
VLLM-0.7.2中文配置参数
周的技术博客
02-17 4519
参数对照针对vllm0.7.2版本做的中文翻译对照，参数由模型自动翻译，可能存在不准确情况，使用时仔细甄别，我只用了一部分参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值