2025_NIPS_Corrector Sampling in Language Models

文章核心总结与翻译

一、主要内容

本文针对自回归语言模型（AR）左到右生成token时无法修改已生成内容、导致错误累积的问题，提出了一种名为Resample-Previous-Tokens（RPT） 的新型采样方法。其核心是通过迭代重新访问并替换固定窗口内的已生成token，减少错误传播。

1. 技术原理：

   • RPT在生成过程中引入局部token替换机制，基于预训练模型微调，学习“前向token预测（PTP）”条件概率（利用未来token辅助预测当前token），结合原有“下一个token预测（NTP）”，在固定大小窗口内迭代优化。
   • 训练过程通过对输入序列进行局部置换，让模型同时掌握NTP和PTP能力，仅需轻微修改训练流程，保持原有生成速度和缓存机制。

2. 实验验证：

   • 对8B参数预训练模型进行100B tokens的微调后，在推理（如GSM8K）和代码生成（如HumanEval+、MultiPL-E）基准测试中实现约10%的相对性能提升。
   • 误差分析表明，RPT通过利用未来token信息降低预测误差，其总变异距离显著低于传统NTP采样，且在不同窗口大小、温度参数下均表现稳定。

3. 优势特性：

   • 轻量化：微调成本低，不损害原有NTP性能；