书生·浦语大模型全链路开源体系-第1关

书生·浦语大模型全链路开源体系-第1关

为了推动大模型在更多行业落地应用，让开发人员更高效地学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为开发人员提供大模型学习和开发实践的平台。
本文是书生·浦语大模型全链路开源体系-开源开放体系课程的笔记。

相关资源

• InternLM项目地址

https://github.com/InternLM/InternLM

• InternLM2技术报告

https://arxiv.org/pdf/2403.17297.pdf

• 书生·万卷 数据

https://opendatalab.org.cn/

• 课程链接

https://space.bilibili.com/1293512903/channel/collectiondetail?sid=4017857

课程笔记

大模型已经成为发展通用人工智能的重要途经，从本世纪初到2021年左右，专用模型发展迅速。专用模型主要是针对特定的任务，一个模型主要解决一个问题，比如图像识别、语音识别、人脸识别、比赛等。

最近两年，通用大模型成为了人工智能领域的热点。通用大模型可以应对多种任务、多种模态。

2023年7月，基于千亿参数的大语言模型InternLM发布，随后全面开源、免费商用。在经过一年的快速迭代与发展，2024年7月InternLM 2.5开源了。

书生·浦语，面向不同的使用需求，提供了不同规格的版本。轻量级的研究和应用可以使用70亿参数的7B版本，200亿参数的20B则综合性能更为强劲，可以有效地支持更加复杂的场景。

书生·浦语 2.5 的主要亮点：推理能力领先、支持百万上下文、自主规划和搜索完成复杂任务。

书生·浦语 2.5 广泛使用模型参与自身迭代，加速模型能力提升，并且融合了多种高质量的数据方案，提升合成的数据质量。

书生·浦语 2.5 具有领先的推理能力，比上一代模型有了大幅的提升，并且领先于同量级的开源模型。

书生·浦语 2.5 在大海捞针实验中，对于不同文本长度的数据，表现都比较突出。

书生·浦语 2.5 可以实现像人类一样的思考方式，来搜索解决复杂的问题。

以下是书生·浦语开源体系的简单介绍。

书生·浦语 2.5 从模型到应用拥有一套典型的流程。简单场景下可以直接使用预训练的模型，复杂业务场景下可以根据算力情况对模型进行全参数微调或部分参数微调以满足场景需求。高效微调框架XTuner可以让我们的微调变得更简单高效。

技术报告笔记

InternLM 2.5 是由上海人工智能实验室开源大语言模型，在多个维度和基准测试中表现出色，特别是在长文本建模和开放式主观评估方面。模型采用了创新的预训练优化技术以提高性能。