
文章核心总结与翻译
一、主要内容总结
1. 研究背景与问题
- 多模态大语言模型(MLLMs)通过整合特征提取器和投影模块,能够处理图像、视频、音频等多模态输入,但额外组件、复杂推理流程和异构工作负载导致推理开销显著增加。
- 现有服务架构存在紧密耦合问题:无法区分混合请求类型、不能针对不同推理阶段调整并行策略,导致首 token 响应时间(TTFT)延长、资源利用率低下,难以满足服务等级目标(SLOs)。
2. 核心解决方案
提出弹性多模态并行(Elastic Multimodal Parallelism, EMP)范式,并基于该范式构建 ElasticMM 服务系统,通过两级调度框架实现动态适配:
- 模态级调度:通过模态感知负载均衡器,将请求划分为纯文本组和多模态组,动态分配资源以应对工作负载波动。
- 阶段级调度:解耦推理流程(编码、预填充、解码),通过弹性分区调度实现各阶段并行度的动态调整和自适应扩展。
- 优化策略:引入统一多模态前缀缓存(减少冗余计算和数据传输)和非阻塞编码(降低编码延迟对整体流程的影响)。
订阅专栏 解锁全文
1300



被折叠的 条评论
为什么被折叠?



