L1-书生大模型全链路开源体系笔记

简介

介绍了书生浦语大模型的全链路开源体系，并详细介绍了其发展历程和特点。大模型已成为通用人工智能的重要途径，能够解决多种任务和多种模态。书生葡语大模型具有超长上下文能力，综合性能得到全面提升，能够实现结构化创作和可靠的数据分析。同时，模型还强化了内生计算能力和代码解释器，在多个能力维度上都取得了不错的评测结果。

总体性能

一、书生浦语大模型的发展历程和特点，其中包括轻量级和重量级模型以及不同能力的模型。

通用大模型成为人工智能发展趋势

书生浦语大模型开源历程

书生浦语大模型2.0提供不同尺寸和类型的模型，支持多语言和多模态任务

二、internLM模型在各种能力评测中的表现，包括语言知识、推理、数学、代码等方面，同时还介绍了模型的应用和数据分析功能。

 20B模型在推理数学代码等方面的性能优于GP3.5和germini pro

模型在综合性能方面达到同量级的开源模型领先水平

 模型内生的计算能力和数据分析功能能够处理复杂的任务和数据分析

三、从模型选型到应用的整个流程，以及各个环节需要做的事情，并介绍了全链条工具体系和开源数据集。

模型选型是第一步，需要考虑模型的复杂度和算力。

全链条工具体系开源，包括数据、预训练、微调、部署、评测、应用等环节

书生万卷cc数据集开源，包括2013年至2023年的互联网公开内容，并进行精细化的清洗和处理

四、open compass 2.0司南大模型评测体系，包括评测框架的开发和开源、评测基准社区的建立以及对大模型能力提升的分析。

发布open compass 2.0思南大模型评测体系

 open compass已经适配超过100个评测集，是国内最完善的评测体系之一

五、英特尔开源模型推理和部署工具的评测和发展趋势，以及智能体框架和多媒体多模态智能体工具箱的使用和开发。

开源社区发展趋势，中轻量级模型性能接近商业闭源模型

LMDeploy提供全链条部署解决方案，支持模型轻量化、推理引擎、服务模块等

智能体框架Lagent支持多种智能体能力，提供多模态AI工具箱AgentLego和多媒体算法功能