书生浦语开源模型谱系及全链条开源生态

1. 模型量级
   • 1.8B 模型：可用于端侧（手机、边缘设备），也可在笔记本本地学习、微调。
   • 7B 模型：性能不俗，适用于轻量级研究和应用。
   • 20B 模型：性能强劲，在生产环境可用，出现涌现现象（能回答未见过的内容）。
   • 102B 模型：未开源。
2. 模型模态
   • internlm x composer：图像文本多模态模型。
   • intel l math：针对数学场景，如高考用的 INTELM 文曲星模型用于科研目的。
3. 全链条开源生态
   • 数据：开源预训练语料库 “书胜万卷”，个人科研可用，含子领域语料库可官网下载；有 30 多个模态数据集，7700 多个数据集，总体数据 180tb，包括 60 亿图像、1000000000000token 语料、2 万小时音频、8 亿片段视频、100 万个 3D 模型；minor u 是一站式开源高质量数据提取工具，可从多种文档生成纯文本，label LLM 和 label u 可用于标注，支持 AI 辅助标注，label u 还支持传统图像任务及视频标注（视频标注开源软件少）。
   • 预训练：inturnevil 框架，进行了显存优化、分布式训练及通信优化，降低硬件要求，适合企业用户做预训练模型及迁移学习。
   • 微调：x urner 框架，支持多种开源模型，任务类型多样，数据格式兼容常用开源数据集格式，内部统一转化，训练引擎基于 open m m live 的 MMN 进引擎，优化加速方式多，支持 q la 和 LAURA 两种算法微调及全量参数微调（个人消费级电脑跑不动全量微调，但可学习操作过程做 Q62 微调），相比 lama factory 等微调框架能回收显存。
   • 评测：opencompass（思南评测），广泛应用于头部企业和科研机构，是大模型国标主要单位、meta 官方推荐、开源社区完善评测体系之一，提供高质量评测集、支持高效评测和能力分析、发布权威榜单，工具基准榜单三位一体，致力于构建科学领先、公平的大模型评测体系。
   • 部署：lmdeploy 部署框架，支持多种开源模型部署，推理接口多样（PYTHON、restful、GRPC），量化方式多，支持多种推理引擎和服务类型，推理性能领先 VLLM。
4. 后续测试持续更新ing