本文是LLM系列文章,针对《TELECHAT TECHNICAL REPORT》的翻译。
摘要
在本技术报告中,我们介绍了TeleChat,这是一组参数为30亿、70亿和120亿的大型语言模型(LLM)。它包括预训练的语言模型以及与人类偏好相一致的微调聊天模型。TeleChat最初是在一个广泛的语料库上进行预训练的,该语料库包含来自英语和汉语的各种文本,包括数万亿个token。随后,该模型按照我们描述的详细方法进行微调,以符合人类偏好。我们评估了TeleChat在各种任务上的性能,包括语言理解、数学、推理、代码生成和基于知识的问答。我们的研究结果表明,在广泛的公共基准测试中,TeleChat的性能与

订阅专栏 解锁全文
2695

被折叠的 条评论
为什么被折叠?



