Continous Batching、Inflight Batching、Prefill Decode分离、SpecDecode

最新推荐文章于 2025-09-20 15:52:39 发布
原创 最新推荐文章于 2025-09-20 15:52:39 发布 · 783 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

Continous Batching（也叫Iteration Batch，vllm是这种思路）

简单来说就是batch内的请求长度和回复长度长短不一，存在Early-Finished的情况，但是空占着GPU的情况。Orca: A Distributed Serving System for Transformer-Based Generative Models这篇论文解决了这个问题，解决思路可以参考以下两个视频：

  • Continous Batching：https://www.youtube.com/watch?v=oYUz0phWFEU&list=TLGGQ-lnizqcSg0wNzAyMjAyNQ
  • 传统的Batching：https://www.youtube.com/watch?v=DnFH9d_nHPU&list=TLGGf4I7wLCYLRIwNzAyMjAyNQ

具体来说要处理3类问题：

  • 对Early-finished Requests的处理。不同请求所生成的文本长度不一致，可能差别很大，并且不易预测。如果没有一个将已生成结束的请求从Batch中移除并提前返回结果的机制，那么只能等一个Batch内所有请求都完成生成后才返回生成结果，导致生成短文本的用户则需要多“陪跑”数秒到数十秒才能得到结果，这对于服务响应时间是不利的；
  • 对Late-joining Requests的处理。完整生成一段文本需要长达数秒或数十秒的时间，是漫长的。所以如果没有一个将新请求插入到推理Batch的机制，那么只能像CV业务那样，等前面的请求都完成推理了才进行后续请求的推理。这会导致请求需要在系统中长时间等待排队，表现为服务响应时间过长甚至不可接受；
  • Batching an arbitrary set of requests。每个请求对应的QKV Tensor的Length维度各不相同，在批量计算Attention时，需要处理此问题。诚然Padding+Masking的方法可以解决，但严重浪费算
最低0.47元/天 解锁文章
taoqick
关注
大语言模型推理提速，TensorRT-LLM 高性能推理实践
阿里云云栖号
02-21 2581
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
LLM batch
MichaelWang的博客
12-06 5753
llm batch策略
使用TensorRT-LLM进行高性能推理
deephub
10-22 4985
为什么选择TensorRT-LLM呢？因为它是NVIDIA官方产品，兼容性和速度优化肯定是有保障的，它提供了无与伦比的速度增强、广泛的模型支持和显著的成本降低，同时简化了LLM优化的任务。它对多种模型的强大支持，通过节能计算实现成本效益的承诺，以及与动态AI生态系统的无缝集成，使TensorRT-LLM成为经验丰富的开发人员和新手都不可或缺的资产。
借着triton inference server聊一下各种batching方法
强化学习曾小健
07-17 1961
原创 Oldpan2024年06月03日 09:17北京在实际的模型部署场景中，我们一般会先优化模型的性能，这也是最直接提升模型服务性能的方式。但如果从更全局方面考虑的话，除了模型的性能，整体的调度和pipeline优化对服务的性能影响也是很大。比如LLM中提的很多的`[1]，对整体LLM推理的性能影响就很大，这个不光光是提升kernel性能能够解决的问题。
TensorRT-LLM中的in-flight batching（IFB）
qq_71640350的博客
09-20 918
/ 构造一个“支持 In-Flight Batching（飞行中批处理）”的 GPT 模型实例。// 这个类在 TRT-LLM 的 C++ 运行时中承担“调度请求 + 执行一步 + 回填结果”的编排角色。std::shared_ptr<nvinfer1::ILogger> logger, // TensorRT 的日志接口：打印 INFO/WARN/ERROR/TRACE，便于排查问题。
大模型推理核心技术：Continuous Batching详解
zenRRan的博客
01-19 9029
作者：方佳瑞，腾讯 · Principal Software Engineer，清华大学计算机科学与技术博士个人主页：https://fangjiarui.github.io整理：青稞AIContinuous Batching现已成为大型模型推理框架的关键技术，也是框架性能优化的主战场。通过将多个在线请求进行批处理（Batching），可以提高 GPU 的使用效率。在 Transformer 出现...
大模型-batch之continuous batching
点滴的岁月
07-25 1045
看下Continuous Batching 技术的开山之作ORCA,这个其实是融合的思路。。目前业界把依据ORCA思想实现的方案叫做连续批处理是一种优化技术，它允许在生成过程中。具体来说，一旦一个序列在批处理中完成生成，就可以立即用新的序列替代它，从而提高了GPU的利用率。这种方法的关键在于实时地适应当前的生成状态，而不是等待整个批次的序列都完成。与静态批处理不同，连续批处理采用了迭代级别的调度。它并不等待每个序列在批次中完成生成后再进行下一个序列的处理。
大语言模型推理加速技术：计算加速篇
张伟的专栏
02-26 3691
其中Q,K,V是模型的三个矩阵。context phase也叫prefill phase：需要计算整个prompt的自注意力，q_input, k_input, v_input大小都为[seq_len, emb_dim]，即整个prompt的embedding，context phase只需要进行一次，生成第一个token。
精选资源
chisquare_inv.rar_chisquare _continous wavelet
07-15
标题中的"chisquare_inv.rar_chisquare _continous wavelet"表明这是一个关于逆连续小波变换（Inverse Continuous Wavelet Transform, ICWT）的压缩包，涉及到χ²（卡方）分布。在信号处理和数据分析中，连续小波...
【大模型推理加速】continuous baching与paged attention
王尚权 qq:2515162716
11-18 650
当某请求任务完成后， 系统动态从批次中删除， 并释放对应的显存，当有新请求时， 先单独执行prefill , 这样可以复用已经完成的请求的显存。用户会发送非常多的推理请求， 如果串行处理这些用户的请求， 如果用户的问题的tokens 数量较小， 无法充分利用GPU并行处理能力。使用naive baching. 当用户请求到达时， 不立即处理， 而是积累到一定请求后，按批次处理。不申请最大显存，而是动态申请 当前需要的显存。
TensorRT-LLM~1
whaosoft143ai的博客
11-02 962
灵活性上，我感觉vllm和TensorRT-LLM不分上下，加上大模型的结构其实都差不多，甚至TensorRT-LLM都没有上onnx-parser，在后续更新模型上，python快速搭建模型效率也都差不了多少。然后就是TensorRT的编译、构建engine的过程（因为使用了plugin，编译挺快的，这里我只用了一张A4000，所以没有设置world_size，默认为1），这里有很多细节，后续会聊。TensorRT-LLM正式出来有半个月了，一直没有时间玩，周末趁着有时间跑一下。whaosoft aiot
大模型推理服务调度优化技术-Continuous batching
weixin_72959097的博客
08-13 2614
本文先介绍了不同批处理基本概念区别，然后，讲述了 LLM 推理框架中提升吞吐性能最重要的技术 Continuous batching。同时，分析了其在不同框架中的应用实现。
掌握大型语言模型（LLM）技术：推理优化
wdn blog
12-03 5270
大模型（LLM）推理优化技术整理。
In-flight batching/Iteration level scheduling （Orca)
smartcat2010的博客
12-04 473
"和句子长度无关"的operator，可以任意打包batch；"和句子长度有关"的operator，即Attention，不并行，串行执行，每次执行1个request的attention计算；1. 以decoding token为单位，来调度（而不是以batch of request为单位）；3. input prompt长度相同时，因为生成结果的长短不同，导致GPU资源浪费，先完成的短句子的GPU机时是空着的；1. 同一个batch里，先完成的短句子，要等到batch里最长的句子完成，才能返回给调用端；
vllm/spec_decode/spec_decode_worker.py 投机采样的一次前向推理 流程分析
weixin_43080939的博客
10-15 1447
vllm投机采样的前向推理流程分析
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2895
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
掌握大语言模型技术：推理优化
m0_59163425的博客
07-23 978
通过堆叠多层Transformer结构来构建大型模型，可以显著提高模型的准确性和少样本学习能力，甚至使其在各种语言任务中达到接近人类的水平。然而，这些基础模型的训练成本极为昂贵，而且在推理过程中往往会占用大量内存和计算资源（这是一项持续的开销）。当前最先进的大型语言模型（LLM）的参数规模可达数十亿到数千亿不等。此外，根据具体应用场景，这些模型可能需要处理较长的输入（或上下文），这进一步增加了资源消耗。举例来说，检索增强生成（RAG）流程需要将大量信息输入模型，这大大增加了LLM的计算负担。
深入解析LLM推理：为什么Prefill是计算密集型，而Decode是内存密集型？
weixin_59989054的博客
04-04 3097
LLM推理的Prefill和Decode阶段在计算和内存需求上的显著差异，源于它们处理任务的方式（并行 vs. 串行）和对核心资源（计算单元 vs. 内存带宽）的依赖程度。深入理解这一原理，不仅能帮助我们更好地认识LLM的工作机制，更是设计、部署和优化高效、经济的AI推理系统的基石。Transformer的核心是自注意力（Self-Attention）机制，它允许模型在处理序列时权衡不同部分的重要性，这涉及到大量的矩阵运算。认识到Prefill和Decode阶段的资源瓶颈差异，是进行LLM推理优化的关键。
continous time convolution
最新发布
10-09
连续时间卷积是信号处理和系统分析中的一个重要概念。在连续时间系统中，卷积描述了系统对输入信号的响应。 ### 概念 连续时间卷积是通过两个连续时间函数的积分运算来定义的。设两个连续时间函数 \(x(t)\) 和 \(h(t)\)，它们的卷积 \(y(t)\) 定义为： \[y(t) = (x * h)(t)=\int_{-\infty}^{\infty}x(\tau)h(t - \tau)d\tau\] 其中 \(x(t)\) 通常是输入信号，\(h(t)\) 是系统的冲激响应，\(y(t)\) 是系统对输入信号 \(x(t)\) 的输出响应。 ### 算法 计算连续时间卷积通常有以下几种方法： 1. **解析法**：对于一些简单的函数，可以通过直接计算积分来求解卷积。例如，当 \(x(t)\) 和 \(h(t)\) 是分段常数函数或指数函数时，可以利用积分的性质进行计算。 2. **图解法**：通过将 \(x(\tau)\) 和 \(h(t - \tau)\) 进行图形变换和相乘，然后计算积分区域的面积来得到卷积结果。这种方法有助于直观理解卷积的过程。 3. **频域法**：利用傅里叶变换的性质，将时域的卷积运算转换为频域的乘法运算。具体步骤是先对 \(x(t)\) 和 \(h(t)\) 进行傅里叶变换得到 \(X(j\omega)\) 和 \(H(j\omega)\)，然后计算 \(Y(j\omega)=X(j\omega)H(j\omega)\)，最后对 \(Y(j\omega)\) 进行傅里叶逆变换得到 \(y(t)\)。 ### 应用 连续时间卷积在许多领域都有广泛的应用，包括： 1. **信号处理**：用于滤波、信号恢复和增强等。例如，在通信系统中，通过设计合适的滤波器（即冲激响应 \(h(t)\)），可以对输入信号 \(x(t)\) 进行滤波，去除噪声或提取特定频率成分。 2. **控制系统**：用于分析和设计线性时不变系统。通过卷积可以得到系统对各种输入信号的响应，从而评估系统的性能和稳定性。 3. **图像处理**：在图像滤波和边缘检测等方面有应用。例如，通过对图像进行卷积操作，可以实现平滑、锐化等效果。 以下是一个简单的 Python 代码示例，用于计算两个简单函数的卷积： ```python import numpy as np import matplotlib.pyplot as plt # 定义时间范围 t = np.linspace(-10, 10, 1000) # 定义两个函数 x = np.exp(-np.abs(t)) h = np.ones_like(t) * (np.abs(t) < 1) # 计算卷积 y = np.convolve(x, h, mode='same') # 绘制结果 plt.figure(figsize=(12, 4)) plt.subplot(131) plt.plot(t, x) plt.title('x(t)') plt.subplot(132) plt.plot(t, h) plt.title('h(t)') plt.subplot(133) plt.plot(t, y) plt.title('y(t) = x(t) * h(t)') plt.show() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值