Phi-4 Technical Report

本文是LLM系列文章，针对《Phi-4 Technical Report》的翻译。

摘要

我们介绍了phi-4，这是一个140亿参数的语言模型，使用集中关注数据质量的训练配方开发。与大多数语言模型不同，在大多数语言模型中，预训练主要基于网络内容或代码等有机数据源，而phi-4在整个训练过程中战略性地整合了合成数据。虽然Phi家族的先前模型在很大程度上提取了教师模型（特别是GPT-4）的能力，但Phi-4在以STEM为重点的质量保证能力方面大大超越了教师模型，这证明了我们的数据生成和训练后技术超越了蒸馏。尽管phi-3架构的变化很小，但由于改进了数据、训练课程和训练后方案的创新，phi-4相对于其规模实现了强大的性能，特别是在以推理为中心的基准测试中。