
【导语:在大语言模型推理领域,传统“推测解码”存在草拟和验证串行的致命弱点。近日,斯坦福、普林斯顿大学和Together AI团队提出SSD框架及SAGUARO算法,实现草拟和验证并行化,推理速度提升显著。】

传统的“推测解码”(SD)虽能加速大模型生成,但草拟和验证必须串行进行。而“推测性推测解码”(SSD)实现了这两个过程的并行化,完全消除了运行小模型的开销。传统SD中,小模型先猜测大模型可能生成的token,大模型再验证,二者依次进行;SSD则让它们同时发生。

并行执行草拟和验证面临诸多挑战,比如无法在事物存在前验证,也无法推测未知前缀之外的内容。在SSD中,研究者预先设定验证结果,并在独立硬件上进行验证的同时进行推测。SAGUARO算法针对SSD优化面临的挑战,将预测验证结果转化为约束优化问题,引入预测奖励token的技术,准确率最高达90%。
它还识别了预测准确性与生成高质量推测间的张力,开发出平衡二者的采样算法,探讨了处理预测失败的多种策略。通过这些优化,SAGUARO表现比标准SD高20%,相比优化的推测性解码实现高达2倍的加速,相比自回归生成实现高达5倍的加速。

标准语言模型解码按顺序生成单个token,未利用现代硬件的大规模并行计算能力。推测性解码虽有效,但受限于串行依赖。SSD框架及SAGUARO算法打破了这种串行依赖,相比传统方法在推理速度上有显著提升。

SSD框架及SAGUARO算法的落地,将推动大语言模型推理领域的发展,提高推理效率,降低延迟。对于数据中心等应用场景,延迟减半意味着能进行双倍深度的思考,可处理更多的token。这也将带动相关硬件和软件产业的发展,为产业链带来新的机遇。

SSD可与EAGLE技术以及token - tree推测结合,但联合设计及其权衡空间很大程度上未被发掘。扩展草拟设备数量和推测缓存可进一步减少延迟,不过回报最终会递减。在集群层面跨多个目标模型部署共享推测端点也是一个自然的研究方向。
编辑观点:SSD框架及SAGUARO算法的出现为大语言模型推理带来了新的突破,解决了传统方法的串行难题。未来虽有诸多待探索方向,但已为行业发展奠定了良好基础,有望推动大模型应用进一步拓展。



被折叠的 条评论
为什么被折叠?



