SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

本文是LLM系列问题，针对《SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training》的翻译。

摘要

监督微调（SFT）和强化学习（RL）是基础模型训练后广泛使用的技术。然而，它们在增强模型泛化方面各自的作用尚不清楚。本文研究了SFT和RL在泛化和记忆方面的比较效果，重点研究了基于文本和视觉环境。我们介绍了算术推理纸牌游戏GeneralPoints，并考虑了现实世界的导航环境V-IRL，以评估用SFT和RL训练的模型如何泛化到文本和视觉领域中看不见的变体。我们发现，强化学习，特别是在基于结果的奖励训练中，在基于规则的文本和视觉环境中都具有普遍性。相比之下，SFT倾向于记忆训练数据，并在任何一种情况下都难以进行非分布的泛化。进一步的分析表明，强化学习提高了模型的潜在视觉识别能力，有助于增强其在视觉领域的泛化能力。尽管强化学习具有优越的泛化能力，但我们表明SFT仍然有助于有效的强化学习训练：SFT稳定了模型的输出格式，使后续的强化学习能够实现其性能提升。这些发现证明了强化学习在复杂、多模态任务中获取可概括知识的优势。

1 引言

2 相关工作

3 前言

4 评估任务

5 结果

6 结论、讨论和局限性

本文对基础模型后训练技术，特别是RL和SFT的泛化效果进行了全面分析。通过对GeneralPoints和V-IRL任务的广泛实验，我们证明了强化学习在学习可概括知识方面表现出卓越的性能，而SFT往往只会记住训练数据，无论是规则还是视觉变化。这种现象在多模态算术和