TELECHAT TECHNICAL REPORT

本文是LLM系列文章，针对《TELECHAT TECHNICAL REPORT》的翻译。

摘要

在本技术报告中，我们介绍了TeleChat，这是一组参数为30亿、70亿和120亿的大型语言模型（LLM）。它包括预训练的语言模型以及与人类偏好相一致的微调聊天模型。TeleChat最初是在一个广泛的语料库上进行预训练的，该语料库包含来自英语和汉语的各种文本，包括数万亿个token。随后，该模型按照我们描述的详细方法进行微调，以符合人类偏好。我们评估了TeleChat在各种任务上的性能，包括语言理解、数学、推理、代码生成和基于知识的问答。我们的研究结果表明，在广泛的公共基准测试中，TeleChat的性能与其他类似规模的开源模型相当。为了支持未来利用LLM的研究和应用，我们向公众社区发布了TeleChat 7B和12B变体的微调模型检查点，以及代码和部分预训练数据。

1 引言

2 模型设计

3 预训练阶段

4 监督微调阶段

5 强化学习

6 工程

7 实验

<