RHO-1: Not All Tokens Are What You Need

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量481

点赞数 8

CC 4.0 BY-SA版权

文章标签：人工智能深度学习机器学习

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137882229

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

RHO-1是一种新的语言模型，通过选择性语言建模（SLM）提高预训练效率。SLM通过参考模型评分选择训练有用的token，减少不相关token的损失，从而在数学任务和MATH数据集上取得了显著的性能提升。研究还探讨了SLM的扩展性、训练参考模型的需求以及改进方法。

本文是LLM系列文章，针对《RHO-1: Not All Tokens Are What You Need》的翻译。

摘要

先前的语言模型预训练方法已经将下一个token预测损失统一地应用于所有训练token。针对这一规范，我们提出“并非语料库中的所有token对语言模型训练都同等重要”。我们的初步分析深入研究了语言模型的token级训练动态，揭示了不同token的不同损失模式。利用这些见解，我们引入了一种称为RHO-1的新语言模型。与传统的LM学习预测语料库中的下一个token不同，RHO-1采用了选择性语言建模（SLM），它选择性地训练与期望分布一致的有用token。这种方法包括使用参考模型对预训练token进行评分，然后训练语言模型，将损失集中在具有较高超额损失的token上。当在15B OpenWebMath语料库上进行持续预训练时，RHO-1在9项数学任务中的小样本准确率绝对提高了30%。经过微调，RHO-1-1B和7B在MATH数据集上分别获得了40.6%和51.8%的最新结果——仅将DeepSeekMath与3%的预训练token相匹配。此外，当在80B通用token上进行预训练时，RHO-1在15个不同的任务中实现了6.8%的平均增强，提高了语言模型预训练的效率和性能。