Baby-Llama2-Chinese：中文小参数量Llama2模型的开源宝库

Baby-Llama2-Chinese：中文小参数量Llama2模型的开源宝库

baby-llama2-chinese用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.项目地址:https://gitcode.com/gh_mirrors/ba/baby-llama2-chinese

项目介绍

Baby-Llama2-Chinese 是由 Limzero、Ambrose 和 Guolin 共同开发的一个开源项目，专注于构建一个参数量较小的中文Llama2模型。该项目不仅涵盖了预训练、SFT指令微调、奖励模型以及强化学习的完整流程，还致力于为LLM初学者提供一套完整的学习资料，帮助他们快速入门。

项目技术分析

预训练技术

• 分词器（Tokenizer）：项目采用了ChatGLM2-6B的分词器，该分词器词表大小为64793，每个token仅需两个字节，大大节省了存储空间。
• 预训练语料：项目收集并处理了多个经典数据集，包括Wiki中文百科、BaiduBaiKe、C4_zh等，总计634亿Tokens，为预训练提供了丰富的语料资源。

SFT指令微调

• 微调方法：项目采用了全面微调（Full Fine-tuning）方法，针对特定任务或领域数据对模型参数进行微调。
• 微调数据：项目主要针对日常问答和医学垂直领域的SFT语料进行模型微调，确保模型在特定领域的表现。

项目及技术应用场景

应用场景

• 垂直领域应用：通过在医学等垂直领域的SFT微调，模型可以应用于专业的医疗问答系统，提供准确、专业的医疗咨询服务。
• 教育培训：项目提供的完整学习资料和预训练模型，可用于LLM的教育培训，帮助学生和研究人员快速掌握LLM的核心技术。

项目特点

特点亮点

• 小参数量：项目专注于构建小参数量模型，降低了硬件需求，使得更多研究者和开发者能够参与其中。
• 完整流程：项目提供了从预训练到微调的完整流程，包括数据处理、模型训练和评估，为使用者提供了全面的指导。
• 知识分享：项目不仅提供技术实现，还致力于知识分享，通过梳理完整的LLM学习资料，帮助初学者快速入门。

结语

Baby-Llama2-Chinese 项目是一个集技术实现与知识分享于一体的开源宝库，无论是对于LLM技术的深入研究，还是对于垂直领域应用的探索，都具有极高的价值。我们诚邀广大技术爱好者和研究者加入我们，共同推动中文LLM技术的发展！

---

项目地址：Baby-Llama2-Chinese

贡献指南：欢迎提交Issue和Pull Request，共同完善项目！

baby-llama2-chinese用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.项目地址:https://gitcode.com/gh_mirrors/ba/baby-llama2-chinese