模型推理的Goodput指标、Prefilling和Decode阶段物理分离、DistServe

原创 已于 2025-02-01 21:33:39 修改 · 1.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2024-11-11 16:10:33 首次发布
最低0.47元/天 解锁文章
『大模型笔记』第3篇：多长的 Prompt 会阻塞其他请求？优化策略解析
AI新视界
06-17 574
多长的 Prompt 会阻塞其他请求？优化策略解析
聊聊大模型推理系统之 Arrow：自适应调度实现请求吞吐提升7.78倍背后的三大创新
jike007gt的博客
08-30 706
Arrow 的核心突破在于其“双自适应”调度能力——既能动态调整请求的分发路径，也能实时重配计算实例的角色。研究团队发现，现实中的 LLM 请求在输入和输出长度上存在巨大波动，导致传统固定比例的 Prefill（填充）与 Decode（解码）节点配置极易失衡。在大模型（LLM）推理服务中，如何在论文链接见文末。
LoongServe论文解读：prefill/decode分离、弹性并行、零KV Cache迁移
weixin_45817413的博客
05-08 1万+
LoongServe论文解读。介绍了prefill、decode分离的问题背景。介绍了LoongServe如何通过使ESP实例组根据负载的变化动态地scale up或者scale down并且没有KV Cache的迁移开销。
打造高性能大模型推理平台之Prefill、Decode分离系列（一）：微软新作SplitWise，通过将PD分离提高GPU的利用率哆啦不是梦
热门推荐
qq_32204441的博客
06-05 3万+
由上图可以看到Prefill和Decode时延都会随着token的数量增多而增多，而（c）更可以看出在E2E（end-to-end）的时延中，TTFT（Prefill阶段）时延仅占一小部分，尤其在Conversation中可以看到，只产生129个tokens所花的时间都比处理1020个Prefill的token时间多的多。可以看到这两个阶段的特征完全不同，即便使用很好的batching技术，也无法解决两个如此明显不同阶段所带来的问题，比如：由于硬件资源利用不足，使得为用户提供服务将产生更高的花费。
一文详解！大模型推理优化：PD分离技术详解，DeepSeek爆火背后的技术！
最新发布
bugyinyin的博客
10-12 2149
本文深入解析大语言模型推理中的Prefill(P)和Decode(D)分离计算技术，详细介绍了vLLM框架的PD分离方案现状，并对比分析了Connector-Base、英伟达Dynamo、Mooncake集成和SGLang等多种实现方案。通过分离计算密集的Prefill阶段和存储密集的Decode阶段，这些技术显著提升了大模型推理效率和资源利用率，是DeepSeek等大模型高性能运行的关键技术。
【有啥问啥】大模型效率部署之Prefill-Decode分离
Chauvin的博客
06-27 1930
在 Prefill 阶段，模型将完整地处理用户输入的所有提示词（prompt），一次性完成前向计算，生成隐藏层的键值对缓存（KV 缓存），并输出生成序列的第一个 Token。这一阶段相当于用矩阵乘法并行计算整个输入序列，高效地利用了 GPU 的算力（进入 Decode 阶段后，模型开始自回归地逐步生成后续输出——每次仅处理一个新 Token，并利用前面累积的 KV 缓存计算注意力，产生下一个输出并更新 KV 缓存。
GLM-4 (6) - KV Cache / Prefill & Decode
daihaoguang的博客
08-25 6690
KV Cache是一种为大模型量身定制的推理加速技术。为什么？因为大模型推理的逻辑是：根据当前轮输入tokens预测并输出下一个token，这两者拼接就得到了下一轮的输入，每一轮只比上一轮增加了一个token。这意味着当前轮包含了上一轮的部分计算。上一轮中每一层的key和value被当前轮复用，而不是重新计算，就能加速推理过程，这就是KV Cache的作用。随着KV Cache的广泛使用，大模型的推理被分为了Prefill和Decode两个阶段。简单来说，Prefill阶段将prompt。
开源AI新协议！AI Agent与前端交互的轻量级协议，轻松构建交互式AI应用！
bugyinyin的博客
06-04 1352
AI Agent 的兴起让前端交互需求激增，但传统开发中，连接Agent后端与前端需大量定制代码，效率低下。 在 MCP（模型上下文协议）、A2A（Agent-to-Agent 通信协议）之后，AI Agent 的生态正在走向一个更完整的方向：AG-UI 协议横空出世，专为 Agent 与前端应用的通信交互而设计。
大模型-分布式推理简介
点滴的岁月
06-30 1746
模型推理中的分布式并行技术，是指将一个大模型的推理过程拆解到多个设备或计算节点上运行，以达到提升吞吐、加速响应、突破单卡显存限制等目的。
“大模型”技术专栏 | 浅谈基于 Kubernetes 的 LLM 分布式推理框架架构：概览
ModelWhale的博客
08-15 977
大模型技术正掀起新一轮产业变革浪潮。在此背景下，和鲸科技资深架构工程师郑宇宸基于工作中的丰富经验，带来基于 Kubernetes 的 LLM 分布式推理框架架构分享。
第二章：推理加速核心：预填充（Prefill）与解码（Decode）的深度解析与实现
YPeng_Gao的博客
03-24 4406
动态 Batching 是一种提高 LLM 推理吞吐量的关键技术，尤其是在高并发的场景下。
大模型推理优化Prefill 和 Decoding 分离原理详解
08-22 1510
大模型推理优化：Prefill/Decoding分离原理详解 摘要：大模型生成文本过程分为Prefill（预填充）和Decoding（解码）两个阶段。Prefill阶段一次性处理输入提示，生成KV Cache，计算复杂度O(n²)，属于计算密集型；Decoding阶段利用KV Cache逐步生成输出，计算复杂度O(1)，属于内存密集型。传统混合执行方式存在资源错配问题。Prefill/Decoding分离架构将两个阶段拆分到不同硬件资源池，实现空间解耦和时间重叠，提升吞吐、降低延迟并优化成本。主流模型如Ll
大模型推理-基于prefill和decode阶段特性，PD分离，势在必行！
2401_84495872的博客
05-03 3347
• 服务级目标 service level objectives (SLO)：为提供一个满意的用户体验，大模型推理服务需要满足的一系列指标，一般包括首字延迟 (TTFT)，平均出词时间(TPOT)，端到端延迟(E2E)，指数移动平均(EMA)。• 首字延迟 time to first token latency (TTFT)：模型服务产生首字的延迟时间。• 平均出词时间 time per output token (TPOT)：模型服务生成单字的平均时间，生成token的总时间处于总token数量。
PD 分离推理架构详解
cr7258的博客
09-21 2659
PD 分离大模型推理中的一种架构优化策略，核心思想是把 prefill 阶段和 decode 阶段分开，由不同的 GPU 或实例分别承担。通过分离架构，系统可以针对 prefill（计算密集型）和 decode（内存密集型）的不同特性分别优化资源配置和并行策略，从而在满足 TTFT 和 TPOT SLO 约束的前提下显著提升有效吞吐量（Goodput）。虽然 PD 分离需要在 GPU 间传输 KV Cache，但通过高速互联网络和优化的传输策略，这一开销可以被有效隐藏。
【大模型】深入解析大模型推理架构之 Prefill-Decode Disaggregation (PD分离)
欢迎来到我的优快云个人博客主页！
07-21 2366
本文详细解释了Prefill-Decode Disaggregation (PD分离)的大模型推理架构，说明了其原理及其在推理加速上的作用。
SGlang 推理模型优化(PD架构分离)
欢迎来到云逸的博客频道
05-24 4810
本文介绍了关于 PD 架构分离和 KV 多级缓存策略。并且提供了 SGLang 的 PD 分离部署示例。用来说明这样推理模型部署架构
LLM推理过程：​Prefill+Decode
jerwey的博客
07-11 1142
LLM推理的两阶段划分源于输入与输出的计算特性差异：Prefill充分利用并行性处理已知输入，Decode则通过串行和缓存复用实现高效生成。这一设计平衡了计算效率与资源消耗，是LLM落地应用的核心优化基础。
LLM 服务分为 Prefill 与 Decode
m0_73704655的博客
09-20 398
→ 如文档摘要、代码理解。→ 如故事生成、对话延续。
为什么大语言模型推理要分成 Prefill 和 Decode？深入理解这两个阶段的真正意义
Harry的博客
04-05 8398
Prefill 阶段是语言模型推理中的第一个步骤，它负责处理你输入的所有上下文内容（prompt），为后续生成打下基础。“请解释一下 Transformer 的原理。这句话会被 tokenizer 编码为一串 token，比如["请", "解释", "一下", "Trans", "##former", "的", "原理", "。"]。然后这些 token 会进入 Transformer 模型进行前向传播。重点来了 👇。
Goodput优化：多路径实时流量负载分配策略
"本文主要探讨了在多路径网络上实时流量的负载分配问题，提出了一种名为Goodput-Aware负载分配TiON（GALTON）的模型，旨在优化吞吐量并减少延迟和数据包丢失对流量性能的影响。GALTON模型包含三个阶段：路径状态估计...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值