第一课,学习到了 书生浦语大模型全链路开源体系
数据: 开放了书生万卷,具有2TB数据,涵盖多种模态与任务
预训练: 开源了InternLM-Train框架,支持并行训练,进行了极致优化,速度达到3600 tokens/sec/gpu
微调: 开源了XTuner框架,支持 全参数微调,支持LoRA等低成本微调
部署: 开源了LMDeploy框架,支持全链路部署,性能领先,每秒生成2000+ tokens
评测: 开源OpenCompass框架,支持全方位评测,性能可复现,80套评测集,40万道题目
应用: 开源了Lagent、AgentLego项目,支持多种智能体,支持代码解析器多种工具调用
感觉书生浦语在国产大模型里是一个上下游做的很全面的开源模型,学习这个模型很有性价比。