书生大模型全链路开源开放体系
书生浦语开源时间线,截止当前最新版本InternLM2.5已开源:
书生浦语2.5相较前一版本在推理能力、上下文长度和复杂任务能力方面具有很大提升
书生浦语开原模型谱系,包含多种不同参数大小的模型,以及多种多模态模型
全链条开源,包含大模型领域全链条工具,例如多模态语料库书生万卷、训练框架InternEvo、推理框架LMDeploy等
在数据方面已开源180TB大小的数据,并且拥有丰富多样的开放数据以及服务与工具
在数据处理工具方面,包括数据提取工具Miner U,数据标注工具Label LLM和Label U
预训练框架InternEvo支持大规模训练,并且做到全场景覆盖
微调框架XTuner,适配多种生态和多种硬件
评测体系OpenCompass,目前已经得到广泛应用,并且获得 Meta 官方推荐
部署框架LMDeploy,能够实现可靠的量化和高效的推理
智能体能够弥补大语言模型在某些方面的局限性
轻量级智能体框架Lagent使用简单,并且支持多种大模型和多类型的智能体能力
智能体搜索引擎MindSearch,能够将思考过程可视化的展现出来
知识库构建工具HuixiangDou,可以用来构建企业级知识库