Tele-FLM Technical Report

本文是LLM系列文章，针对《Tele-FLM Technical Report》的翻译。

摘要

大型语言模型（LLM）展示了语言理解和生成方面的深厚能力，促进了广泛的应用。然而，如何以最小的试错成本和计算资源有效地将 LLM 扩展到超过 500 亿个参数，详细的开源方法明显缺乏。在本报告中，我们介绍了 Tele-FLM（又名 FLM2），这是一个 52B 开源多语言大语言模型，具有稳定、高效的预训练范式和增强的事实判断能力。 TeleFLM 展示了卓越的多语言建模能力（通过 BPB 在文本语料库上进行测量）。此外，在英文和中文基础模型评估中，它可以与预训练 FLOP 较大的强大开源模型（例如 Llama2-70B 和 DeepSeek-67B）相媲美。除了模型权重之外，我们还分享核心设计、工程实践和训练细节，希望学术界和工业界都能受益。

1 引言

2 预训练数据

3 预训练细节

4 损失动态和 BPB 评估

5 基准评估

6 经验教训

7 相关工作

8 结论和未来工作

在本报告中，我们介绍了 Tele-FLM，一种开放的多语言基础模型。凭借 52B 参数和 2T 训练token，Tele-FLM 在多语言建模能力和基准评估方面的性能可与使用更多数据训练的大型模型相媲美。 Tele-FLM的预训练过程具有高成功率和低碳足迹的特点