
MiMo-V2.5系列全流程推理优化:将混合滑动窗口注意力效率发挥到极致
2026年5月30日消息,V2.5模型家族,包括MiMo-V2.5和MiMo-V2.5-Pro,融合了多项架构设计,具备显著性能和效率优势。但实现这些优势面临诸多挑战,本文将介绍其推理系统的端到端工程实践。
1. Hybrid SWA:推理效率优势
先量化Hybrid SWA的理论效率边界,这是后续优化的衡量基准。以MiMo-V2.5-Pro为例,其70层中10层为全注意力层,60层为SWA层,滑动窗口大小128。与全注意力相比,Hybrid SWA计算成本约为1/7,KVCache存储量也降至约1/7。不同模型架构KVCache存储差异大,MiMo-V2.5-Pro和MiMo-V2.5在KVCache效率方面排名第二。长序列中,推理成本优势随序列增长而增大。
2. KVCache系统重构
MiMo-V2和MiMo-V2.5系列采用Hybrid SWA架构,但早期开源推理框架和缓存系统支持不足。为此推出MiMo API,选择SGLang v0.5.5作为服务后端代码库,遇到挑战后构建新KVCache系统。
2.1 SWA KVCache管理
采用KVCache双池设计,拆分全注意力和SWA池,实现严格O(W)存储约束,提高容量效率。逐层KVCache预取使推理缓存读取成本接近零。支持SWA的前缀缓存树从三方面修改语义,保证前缀复用正确性和高效性,提高有效命中率。针对不同场景优化KVCache命中率,实现跨会话长前缀复用。
2.2 GCache:高性能分布式缓存基础设施
GCache是小米存储团队开发的高性能通用缓存系统。其架构设计去中心化,支持内存和磁盘缓存,多语言SDK优化请求调度。网络优化使其充分发挥高速网络优势,存储成本优化实现零额外存储,可靠性保障确保单副本存储。
2.3 缓存命中率讨论
优化措施使缓存生存时间延长,KV缓存命中率提高。主流高质量框架下,服务器端KV缓存命中率平均达93%,重度用户超95%。未来将继续迭代优化。
3. 调度优化
早期SGLang社区路由服务不成熟,小米开发LLM - Router解决KVCache调度问题。
3.1 KVCache和负载亲和性调度
路由通过维护已调度请求实现KVCache亲和性调度,提高L2缓存命中率和节点输入吞吐量。
3.2 首次响应时间(TTFT)优化
路由优先调度未缓存token少的请求,添加等待时间惩罚机制,降低长请求TTFT P90达30%。
4. 预填充优化
预填充阶段优化包括并行度配置、长度分桶策略、MoE负载平衡和解决NUMA冲突。优化后EP减小,端到端性能提高约40%;长度分桶策略提高平均预填充吞吐量;目前未采用MoE负载平衡策略;禁用numa_balancing参数使端到端性能提高约10%。
5. 解码优化
解码优化包括GPU内存优化和多token预测(MTP)优化。GPU内存优化使KVCache有效容量提高到约5倍;MTP优化使0 - 128个token加速比达2.3倍,128 - 256个token加速比达1.5倍。
6. 多模态推理优化
基于SGLang社区v0.5.7的EPD设计进行优化,将编码器吞吐量提高一倍。优化包括架构、预处理和缓存三方面。架构优化减少GPU空闲时间,简化部署;预处理优化消除CPU瓶颈,降低延迟;缓存优化提高缓存命中率。
7. 结语
MiMo-V2.5系列推理效率是多维度协同优化的结果。重构KVCache管理等解决核心挑战,实现Hybrid SWA理论效率提升。对MoE配置和多模态推理管道的优化也提升了服务性能。小米将部分优化贡献给开源社区,推动高性能复合架构广泛应用。
1575



被折叠的 条评论
为什么被折叠?



