本文是LLM系列文章,针对《Phi-4 Technical Report》的翻译。 Phi-4技术报告 摘要 1 引言 2 数据方法 3 预训练细节 4 后训练 5 基准考虑 6 关键基准上的表现 7 安全 8 弱势 摘要 我们介绍了phi-4,这是一个140亿参数的语言模型,使用集中关注数据质量的训练配方开发。与大多数语言模型不同,在大多数语言模型中,预训练主要基于网络内容或代码等有机数据源,而phi-4在整个训练过程中战略性地整合了合成数据。虽然Phi家族的先前模型在很大程度上提取了教师模型(特别是GPT-4