SmolLM2: When Smol Goes Big — Data-Centric Training of a Small Language Model

本文是LLM系列文章，针对《SmolLM2: When Smol Goes Big—Data-Centric Training of a Small Language Model》的翻译。

摘要

虽然大型语言模型促进了人工智能在许多应用中的突破，但它们固有的庞大性使得它们在计算上昂贵，并且在资源受限的环境中部署起来具有挑战性。在本文中，我们记录了SmolLM2的发展，SmolLM2是一种最先进的“小型”（17亿参数）语言模型（LM）。为了获得强大的性能，我们使用多阶段训练过程，将网络文本与专门的数学、代码和指令跟踪数据混合在一起，在大约11万亿个数据token上对SmolLM2进行过度训练。我们还引入了新的专业数据集（FineMath、Stack Edu和SmolTalk），在我们发现现有数据集小或质量低的阶段。为了指导我们的设计决策，我们进行了小规模消融和手动细化过程，该过程根据前一阶段的性能更新每个阶段的数据集混合率。最终，我们证明SmolLM2的表现优于其他最近的小型LM，包括Qwen2.5-1.5B和Llama3.2-1B。为了促进未来对LM开发以及小型LM应用的研究，我们发布了SmolLM2以及我们在本项目过程中准备的所有数据集。

1 引言

2 背景

3 预训练数据集

4 预训练

5 后训练

6 SmolL