Textbooks Are All You Need

本文是LLM系列文章，针对《Textbooks Are All You Need》的翻译。

摘要

我们介绍了phi-1，这是一种新的大型代码语言模型，其大小明显小于竞争模型：phi-1是一种基于Transformer的模型，具有1.3B参数，在8个A100上训练了4天，使用了来自网络的“教科书质量”数据（6Btoken）和GPT-3.5（1Btoken）的综合生成教科书和练习。尽管规模很小，但phi-1pass@1HumanEval和MBPP的准确率分别为50.6%和55.5%。与phi-1-base（我们在编码练习数据集上微调阶段之前的模型）和phi-1-small（一个较小的模型，使用与phi-1相同的管道训练350M个参数，在HumanEval上仍达到45%）相比，它还显示出令人惊讶的涌现特性。

1 引言

2 训练细节和高质量数据的重要性

3 对CodeExercise进行微调后的模型能力峰值

4 LLM评分对非常规问题的评价

5 数据修剪用于公正的性能评估

6 结论

正如一本全面、精心制作的教科书可以为学生提供掌握新学科所需的知识一样，我们的工作证明了高质量数据在磨练语言模型在代码生成任务中的熟练程度方面的显著影响。通过制作“教科书质量”的数据，我们能够训练出一个模型，该模型在HumanEval和MBPP等编码基准上几乎超过所有开源模型，尽管模型大小小了10倍，数据集大小小了100倍。我们假设，这种高质量的数据