2025_NIPS_L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models

文章核心总结与创新点

主要内容

本文针对大语言模型（LLMs）主流的下一个token预测（NTP）和多token预测（MTP）在上下文覆盖范围与推理效率上的局限，提出了跳跃式多token预测（L-MTP）方法。通过引入跳跃机制，L-MTP在单次前向传播中跳过中间token，直接预测非连续位置的token，同时优化了训练流程与推理解码策略。文章通过理论分析验证了其推理加速优势，并在数学、代码、通用任务等多个基准测试中，基于Qwen、Llama、Gemma等不同规模模型，验证了L-MTP在提升模型性能的同时，能显著加快推理速度，且可与推测解码技术结合进一步放大效率优势。

创新点

1. 跳跃式预测机制：突破MTP仅预测连续相邻token的限制，通过跳跃间隔分配预测头（如预测位置1、3、5、7），增强模型对长距离依赖的捕捉能力。
2. 两阶段训练流程：先通过自蒸馏数据进行预测头预热（冻结模型主干），再对模型主干和所有预测头进行全量微调，平衡适配性与性能。
3. 高效推理策略：结合“回溯解码”复用历史预测结果填补token间隙，融入树注意力机制支持并行验证，与推测解码结合可实现最高4倍推理加速。
4. 理论支撑：提出衰减性（预测概率随距离递减）和一致性（预测概率期望稳定）两大特性，证明了L-MTP在低衰减场景下的推理优势。

---

译文（Markdo