Tele-FLM Technical Report

本文是LLM系列文章，针对《Tele-FLM Technical Report》的翻译。

摘要

大型语言模型（LLM）展示了语言理解和生成方面的深厚能力，促进了广泛的应用。然而，如何以最小的试错成本和计算资源有效地将 LLM 扩展到超过 500 亿个参数，详细的开源方法明显缺乏。在本报告中，我们介绍了 Tele-FLM（又名 FLM2），这是一个 52B 开源多语言大语言模型，具有稳定、高效的预训练范式和增强的事实判断能力。 TeleFLM 展示了卓越的多语言建模能力（通过 BPB 在文本语料库上进行测量）。此外，在英文和中文基础模型评估中，它可以与预训练 FLOP 较大的强大开源模型（例如 Llama2-70B 和 DeepSeek-67B）相媲美。除了模型权重之外，我们还分享核心设计、工程实践和训练细节，希望学术界和工业界都能受益。

1 引言

2 预训练数据

3 预训练细节

4 损失动态和 BPB 评估

5 基准评估

6 经验教训