文章核心总结与翻译
一、主要内容
该研究聚焦于大语言模型(LLMs)在内存受限的消费级GPU上的部署挑战,针对参数卸载(将部分模型层存储在CPU内存,需时传输至GPU)导致的推理速度缓慢问题,提出了一种无损且无需训练的加速方案——Substitute Speculative Decoding(SUBSPEC)。
-
背景与痛点:
- 模型压缩(如量化)会损失精度,而参数卸载虽能保持无损但受PCIe总线数据传输限制,推理延迟极高(消费级GPU通常每秒仅生成1-2个token)。
- 现有推测解码(SD)方法需依赖同家族预训练小模型或额外训练来对齐目标模型,难以适配自定义训练模型,且加速效果有限。
-
核心方案:
- 构建高对齐度的草稿模型:通过共享目标模型的GPU常驻层和KV-Cache,同时为卸载层生成低比特量化的替代层,确保草稿模型与目标模型高度一致且完全驻留GPU。
- 优化草稿树构建:采用概率锐化技术解决累积概率偏差问题,支持更深的草稿树以提升平均接受长度(τ)。
- 辅助优化:结合异步数据传输(重叠计算与数据传输)和长上下文分块预填充(降低峰值内存)进一步提升效率。
-
实验结果:
- 在8GB VRAM限制下,Qwen2.5 7B模型在MT-Bench上实现9.1×
订阅专栏 解锁全文
1070



被折叠的 条评论
为什么被折叠?



