书生·浦语大模型实战营笔记㈠书生·浦语全链路开源体系

本文链接：https://blog.youkuaiyun.com/codeview1/article/details/135855103

本文介绍了书生·浦语大模型的发展历程、主要组成部分（包括InternLM的不同规模版本），探讨了其全链路开源体系，涵盖了数据、预训练、微调框架、评测、部署和应用实例，展示了该模型在实际场景中的实用价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 背景
1.1 模型发展历程
1.2 书生·浦语大模型：主要讲解一下各个库的内容以及在全链路中扮演的角色，同时将深入浅出的讲解了一下大语言模型的演变以及书生浦语大模型开源历程的演变。作为国内前沿的大语言模型，书生浦语其实已经算了除ChatGLM以及Yi系列以外相对比较实用的中文开源大语言模型了，尤其是InternLM20B的开源让很多商业化的案例成为了可能。
InternLM的模型总共分为以下三个类别：
- InternLM-7B（小型）- 可以低成本微调，我们个人开发者可能用到的就是第一个7B的模型，然后利用这个7B的模型去实现一些工作
- IntermLM-20B（中型）- 是商业场景开发常会使用的模型
- InterLM-123B（大型）- 通用大语言模型
1.3 大模型应用流程

2 书生·浦语大模型全链路开源开放体系
2.1 数据：书生·万卷 1.0（文本、图像-文本、视频）、OpenDataLab
2.2 预训练：InternLM-Train
2.3 微调框架：Xtuner（增量续训及有监督微调）（全量参数微调及部分参数微调）、低成本QLoRA（8GB微调大模型）、
2.4 评测：OpenCompass 从学科、语言、知识、理解、推理、安全各个方面都有一些评测的指标和内容。
2.5 部署：技术挑战与方案、LMDeploy
2.6 应用：轻量级智能体框架Lagent & 应用示例、多模态智能体工具箱: AgentLego