星辰语义大模型TeleChat超详细部署文档手册

星辰语义大模型TeleChat超详细部署文档手册

【下载地址】星辰语义大模型TeleChat超详细部署文档手册 星辰语义大模型TeleChat是一款由中电信人工智能科技有限公司研发的大语言模型，基于1.5万亿中英文高质量语料训练而成。该项目开源了7B对话模型及其量化版本，支持deepspeed微调和FlashAttention2优化，显著提升显存效率。模型特别注重多轮对话能力，通过多轮数据构建和mask loss训练，优化问答效果。此外，8K训练版本支持NTK-aware和attention saling外推技术，可扩展至96K，适用于长文生成任务，如工作总结、PPT大纲、申论等。TeleChat为开发者提供了强大的工具，助力高效AI对话与文本生成应用。 项目地址: https://gitcode.com/Open-source-documentation-tutorial/25584

本文档详细介绍了星辰语义大模型TeleChat的部署方法。星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型，采用1.5万亿 Tokens中英文高质量语料进行训练。

模型概述

1. 星辰语义大模型TeleChat：由中电信人工智能科技有限公司研发训练的大语言模型，采用1.5万亿 Tokens中英文高质量语料进行训练。

2. 开源组件：对话模型 TeleChat-7B-bot 及其 huggingface格式的权重文件，7B模型的int8和int4量化版本。

开源优点

• 支持deepspeed微调：我们开源了基于deepspeed的训练代码，支持Zero并行显存优化，同时集成了FlashAttention2。

• 多轮能力支持：我们开源了多轮数据构建方式，针对多轮模型训练集成了针对多轮的mask loss训练方式，更好地聚焦多轮答案，提升问答效果。

• 外推能力提升：我们开源了8K训练版本模型，采用NTK-aware外推和attention saling外推方式，可以外推到96K。

• 长文生成能力：在工作总结，工作计划，PPT大纲，申论，招标书，邮件，方案，周报，JD写作等长文写作任务具有较好的表现。

请按照本文档的指导，逐步完成TeleChat模型的部署，开启您的AI对话之旅。

【下载地址】星辰语义大模型TeleChat超详细部署文档手册 星辰语义大模型TeleChat是一款由中电信人工智能科技有限公司研发的大语言模型，基于1.5万亿中英文高质量语料训练而成。该项目开源了7B对话模型及其量化版本，支持deepspeed微调和FlashAttention2优化，显著提升显存效率。模型特别注重多轮对话能力，通过多轮数据构建和mask loss训练，优化问答效果。此外，8K训练版本支持NTK-aware和attention saling外推技术，可扩展至96K，适用于长文生成任务，如工作总结、PPT大纲、申论等。TeleChat为开发者提供了强大的工具，助力高效AI对话与文本生成应用。 项目地址: https://gitcode.com/Open-source-documentation-tutorial/25584