csg-wukong-1B模型：OpenCSG让高端AI技术走向大众

01   关于csg-wukong模型

csg-wukong是OpenCSG算法团队自研的预训练模型系列，其中base模型csg-wukong-1B是具有1B参数量的small language model（SLM）预训练模型。csg-wukong-1B具有参数量小、推理成本低、性能强悍等优点，可支持多种适用场景并灵活适配下游微调任务。

csg-wukong-1B模型在预训练阶段第一阶段采用了1T （3 epoch）tokens英文通用语料数据，其中包括了the pile、wikipedia、Commoncrawl、C4、StackExchange、Github、arxiv等数据集；在第二阶段训练使用了30B tokens合成数据，它们是通过gpt4、mixtral 8X7B、QWEN-72B 综合蒸馏得到的高质量训练数据，通过合适的数据配比完成了第二阶段的训练。

csg-wukong-1B在16张H800卡上进行了为期43天的预训练，这个消耗是很多研究者、企业、高校都可以接受的范围；同时由于模型仅有1B参数量，部署成本非常低，可以在个人PC、手机、各类IOT边端设备上进行部署，所以这是一个每个人都能负担得起的模型。

csg-wukong-1B模型下载与体验地址：

传神社区下载：https://opencsg.com/models/OpenCSG/csg-wukong-1B

传神社区模型在线体验：https://opencsg.com/spaces/OpenCSG/csg-wukong-1B

Huggingface社区：https://huggingface.co/opencsg/csg-wukong-1B

其中cs