2025_NIPS_TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs

TokenSqueeze 文章总结与翻译

一、主要内容

该研究针对推理型大语言模型（如OpenAI-o1、DeepSeek-R1）因生成冗长思维链（CoT）导致的推理延迟高、内存消耗大、存在“过度思考”等问题，提出了一种名为TokenSqueeze的训练时偏好学习方法。其核心目标是在保持模型推理性能的前提下，实现推理轨迹的高效压缩，解决“效率-准确性”权衡难题。

TokenSqueeze的技术框架包含三个关键模块：

1. 自适应推理深度选择：根据问题复杂度动态调整推理深度，通过自适应分位数机制筛选保留核心推理步骤的样本，避免过度压缩或推理不足。
2. 步内语言优化：在KL散度约束下重写单个推理步骤，在保留语义完整性的同时提升信息密度，增强推理表达的简洁性和清晰度。
3. 复合优化目标：结合长度感知信号的偏好训练目标（DPO-L）与监督微调（SFT），形成复合损失函数，同时优化推理准确性和简洁性。

实验验证显示，该方法在MATH500、AIME24/25、LiveCodeBench等数学推理和编程任务基准测试中表现优异。例如，基于DeepSeek-R1-Distill-Qwen-7B的模型在MATH500上实现了50%的平均token减少，且准确性保持稳定；在AIME24上，3K token预算下准确性提升15.5%，充分证明了其在不同任务和模型规模下的通用性和有效性。

二、创新点