RHO-1: Not All Tokens Are What You Need

本文是LLM系列文章，针对《RHO-1: Not All Tokens Are What You Need》的翻译。

摘要

先前的语言模型预训练方法已经将下一个token预测损失统一地应用于所有训练token。针对这一规范，我们提出“并非语料库中的所有token对语言模型训练都同等重要”。我们的初步分析深入研究了语言模型的token级训练动态，揭示了不同token的不同损失模式。利用这些见解，我们引入了一种称为RHO-1的新语言模型。与传统的LM学习预测语料库中的下一个token不同，RHO-1采用了选择性语言建模（SLM），它选择性地训练与期望分布一致的有用token。这种方法包括使用参考模型对预训练token进行评分，然后训练语言模型，将损失集中在具有较高超额损失的token上。当在15B OpenWebMath语料库上进行持续预训练时，RHO-1在9项数学任务中的小样本准确率绝对提高了30%。经过微调，RHO-1-1B和7B在MATH数据集上分别获得了40.6%和51.8%的最新结果——仅将DeepSeekMath与3%的预训练token相匹配。此外，当在80B通用token上进行预训练时，RHO-1在15个不同的任务中实现了6.8%的平均增强，提高了语言模型预训练的效率和性能。

1 引言

2 选择性语言建模

3 实验

4 相关工作

5 讨论与未来工作

泛化在数学连续预训练中，如图6所示，仅使用SLM进行训练会导致快速收敛到参考模型所关注的领域，同时未选择的token的损失显著增加。尽管还没有