continuous batching、chunked-prefill相关概念

已于 2025-01-31 08:57:06 修改
阅读量758 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： LLM推理优化 文章标签： GPU 大模型
于 2025-01-30 22:49:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smartcat2010/article/details/145401471

batching VS. continuous batching

batching是所有requests的output都生成完毕之后，才能开始处理下一个batch。一般要做input padding，要等待凑够batch才运行（也有超时bar）。

continuous batching是每完成1个request，就让1个新request加入到batch里。好处：可以让decode阶段的一个batch的token数目不减少，确保计算密度。

continuous batching VS. chunked prefill

VLLM里，前者是prefill优先。新到的prefill请求，打断所有decode请求。且prefill和decode不batching。

后者是decode优先。且prefill请

最低0.47元/天 解锁文章

200万优质内容无限畅学
『大模型笔记』第2篇：并发请求中的 Prefill 与 Decode：优化大语言模型性能
AI新视界
06-17 219
在大语言模型（LLM）应用中，能否高效地并发处理多个用户的请求，是影响系统性能的关键因素之一。在上一篇文章中，我们探讨了如何通过队列策略来对不同用户请求进行优先级管理。而在本篇中，我们将重点介绍如何并发处理请求，以及这种处理方式如何影响延迟、吞吐量和 GPU 资源利用率等核心指标。
【大模型部署实战】VLLM+OpenWebUI实现DeepSeek模型部署
m0_47867638的博客
03-16 448
vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟大语言模型（LLM）推理和服务框架。其核心创新在于，通过将注意力键值（KV）缓存分页管理，显著提升显存利用率并降低碎片化问题，使吞吐量比传统框架（如Hugging Face Transformers）提升24倍。该框架支持和，能够高效处理8k+长上下文请求，并兼容OpenAI API接口，开发者可快速部署Hugging Face模型。
总结版 | vLLM这一年的新特性以及后续规划
CV_Autobot的博客
11-10 3001
作者|oldpan编辑| 自动驾驶之心点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『视觉大语言模型』技术交流群本文只做学术分享，如有侵权，联系删文本文来自The State of vLLM | Ray Summit 2024 && RoadMap的分享，带大家一起回顾下vllm发展历史、过去一...
Sarathi-Serve：chunked-prefills
smartcat2010的博客
01-06 791
decode-maximal batching原则：即优先往batch中添加需要做decode的序列，直到添加不动为止（即我们预留给decode的KV cache空间已经不足了，无法存放新的KV cache了）。然后我们再根据这个batch中剩余的tokens预算，对需要做prefill的序列做chunk切割，把对应的prefill tokens添加进batch中。左图，Prefill阶段，因为是Compute-bound的，计算单元已经打满了，再增大batch也不会增大吞吐量了。
Continuous Batching 连续批处理
@fei
01-27 1010
原始论文题目： Continuous Batching — ORCA: a distributed serving system for Transformer-based generative models关键词： Continuous Batching， iteration-level scheduling， selective batchingOrca系统又由几个关键组件组成： Endpoint，Scheduler，Execution Engine，Request Pool不同于那些通过多次迭代直到所
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1661
AI菜鸟向前飞 — LLM简介
Continuous Batching：解锁LLM潜力！让LLM推断速度飙升23倍，降低延迟！
Paper weekly
10-14 1234
©作者 | 时空猫的问答盒单位 | 北京大学本文介绍一篇 LLM 推理加速技术相关的文章，值得读一读。LLMs 在现实应用中的计算成本主要由服务成本所主导，但是传统的批处理策略存在低效性。在这篇文章中，我们将告诉你，为什么 Continuous Batching 连续批处理成为了解决这一问题的新方法，而不再把 LLMs 视为“黑匣子”。这个技术如何利用内存，而不是计算能力，来实现 10 倍以上的性...
大模型推理服务调度优化技术-Continuous batching
weixin_72959097的博客
08-13 2272
本文先介绍了不同批处理基本概念区别，然后，讲述了 LLM 推理框架中提升吞吐性能最重要的技术 Continuous batching。同时，分析了其在不同框架中的应用实现。
大模型推理核心技术：Continuous Batching详解
zenRRan的博客
01-19 7786
作者：方佳瑞，腾讯 · Principal Software Engineer，清华大学计算机科学与技术博士个人主页：https://fangjiarui.github.io整理：青稞AIContinuous Batching现已成为大型模型推理框架的关键技术，也是框架性能优化的主战场。通过将多个在线请求进行批处理（Batching），可以提高 GPU 的使用效率。在 Transformer 出现...
全面解析 LLM 推理性能的关键因素
安静的软件工程师
02-12 4925
全面解析 LLM 推理性能的关键因素
开源大模型推理引擎现状及常见推理优化方法总结
AIBigModel的博客
11-09 3006
前一段时间sglang-v0.3.0和vllm-v0.6.0前后脚发布之后，就一直想总结梳理一下现在主流的大模型推理引擎。因为我觉得这也算是一个有意义的节点吧，从此开源大模型推理引擎总算是由"非常粗糙，但是能用"的阶段迈入到了"好用，稍微有那么点粗糙"的阶段。大模型的推理引擎实际也就是近一两年才开始飞速发展，从最开始的tgi和vllm并驾齐驱到如今sglang、lmdeply的异军突起，整个开源社区都是非常有活力的。
【大模型推理加速】continuous baching与paged attention
王尚权 qq:2515162716
11-18 467
当某请求任务完成后， 系统动态从批次中删除， 并释放对应的显存，当有新请求时， 先单独执行prefill , 这样可以复用已经完成的请求的显存。用户会发送非常多的推理请求， 如果串行处理这些用户的请求， 如果用户的问题的tokens 数量较小， 无法充分利用GPU并行处理能力。使用naive baching. 当用户请求到达时， 不立即处理， 而是积累到一定请求后，按批次处理。不申请最大显存，而是动态申请 当前需要的显存。
Sarathi的chunked prefill论文
smartcat2010的博客
02-01 623
3. 耗时大的部分：2个FFN，preproj，postproj。1. Prefill阶段，batch size为1时，GPU算力已满(saturate)，所以提高batch size不能减少单个request的耗时。4. 它的实验里，batch-size为1时，1个decode的平均耗时，是1个prefill的平均耗时，的200倍。（似乎没有打成batch，是一个一个独立计算的）。2. Decode阶段，因为是memory-bound，提高batch size几乎可以让单个request的耗时线性减少。
vllm chunked-prefill性能评估
u011590738的博客
12-25 2985
在使用vllm的过程中，我们发现大语言模型输出token过程中，偶尔会出现有较长时间的等待才吐出下一个token的问题。通过查阅文档资料，发现这是由于vllm服务是会在一个服务实例中，即做prefill又做decode。但同一时间只能执行prefill、decode其中一个，并且执行prefill的优先级高于decode。所以在多并发情况下，会优先处理prefill而导致停滞decode，造成部分token会等待较长时间才输出的情况。
SARATHI: Efficient LLM Inference by Piggybacking Decodes with Chunked Prefills
c_cpp_csharp的专栏
09-11 882
大型语言模型（LLM）推理包括两个不同的阶段 - 预填充阶段（处理输入提示）和解码阶段（自动回归生成输出token）。虽然预填充阶段有效地使小批量的 GPU 计算饱和，但解码阶段会导致计算利用率较低，因为它每个请求一次生成一个token。使用流水线并行时，不同的预填充和解码时间也会导致微批处理之间的不平衡，从而导致气泡进一步降低效率。我们推出 SARATHI 来应对这些挑战。
还不懂Chunked Prefill？ 进来看看
小白菜的博客
04-18 1130
当启用Chunked Prefill并设置max_num_batched_tokens=2048时，这一配置旨在通过分块处理长序列输入，优化大语言模型（LLM）推理的吞吐量和延迟。
【有啥问啥】 什么是Chunked Prefill技术？
最新发布
Chauvin的博客
06-27 926
阶段对输入提示（prompt）进行前向推理，构建 Key-Value (KV) 缓存；阶段逐步生成输出令牌。传统流程中，Prefill 会处理整个输入序列后才开始输出解码，此时并行度高但对后续解码造成阻塞。即将一个长prompt的Prefill过程拆分成多个小块（chunk），在调度时将这些预填充块与其他请求的解码任务混合批处理。
一起理解下LLM的推理流程
python12345_的博客
10-23 1335
本文来源自Pytorch Conference 2024的talking ——本文总结和整理下其描述的基于TRT-LLM的LLM推理流程。以下是简单的LLM推理流程（下图中输入 Write me a presentation…prefill推理阶段，一开始需要输入文本转换为token id，需要依赖Tokenization：但实际LLM模型中最终拿到的是embedding向量：分词过程，由于“smart”和“smarter”是不同的单词，分词器会为它们生成不同的token ID，即使它们看起来很相似。
使用batching-fs-writestream提升文件写入效率的实现方法
为了解决这个问题，'batching-fs-writestream'模块被设计出来，其目的是通过将数据分块写入磁盘来提高写入效率。与fs.createWriteStream不同，'batching-fs-writestream'将多个数据块缓冲起来，然后一次性执行较少的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值