书生·浦语大模型全链路开源开放体系【大模型实战营第一课笔记】

原创 已于 2024-01-25 15:04:45 修改 · 499 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

于 2024-01-04 19:40:34 首次发布
本文详细介绍了书生·浦语大模型的发展历程，包括其全链路开源体系，从数据准备（如书生·万卷1.0和OpenDataLab）到预训练、微调（借助XTuner和显存优化）、评测体系（如OpenCompass）以及部署解决方案（LMDeploy）。还探讨了轻量级智能体框架Lagent及其应用示例和多模态智能体工具箱AgentLego的应用。

目录

1 背景

1.1 模型发展历程

1.2 书生·浦语大模型

​1.3 大模型应用流程

2 书生·浦语大模型全链路开源开放体系

2.1 数据

书生·万卷 1.0

​OpenDataLab​

2.2 预训练​

2.3 微调

微调的两种方式

微调框架：XTuner​

显存优化效果

2.4 评测

评测体系的整体态势​

OpenCompass介绍​

2.5 部署

技术挑战与方案​

LMDeploy​

2.6 应用：智能体​

         轻量级智能体框架：Lagent​

         Lagent应用示例​

         多模态智能体工具箱: AgentLego​

1 背景

1.1 模型发展历程

1.2 书生·浦语大模型

1.3 大模型应用流程

2 书生·浦语大模型全链路开源开放体系

2.1 数据

书生·万卷 1.0

OpenDataLab

2.2 预训练

2.3 微调

微调的两种方式

微调框架：XTuner

显存优化效果

2.4 评测

评测体系的整体态势

OpenCompass介绍

2.5 部署

技术挑战与方案

LMDeploy

2.6 应用：智能体

轻量级智能体框架：Lagent

Lagent应用示例

多模态智能体工具箱: AgentLego

【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 2247
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1872
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
[书生·浦语大模型实战营]——第一节：书生·浦语大模型全链路开源体系and InternLM2 技术报告笔记
qq_41776136的博客
01-04 705
应用例子：智能客服/个人助手/行业应用 实现流程： 开源开放体系： 价值观对齐这个挺有意思嗷！ 大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式 （1）增量续训 使用场景：让基座模型学习到一些新知识，如某个垂类领域知识（垂类领域表示某个行业的某一部分，细分产业） 训练数据：文章、数据、代码等 （2）有监督微调 使用场景：让模型学会理解和遵循各种指令，或者注入少量领域知识 训练数据：高质量的对话、问答数据
书生.浦江大模型实战训练营——（四）书生·浦语大模型全链路开源开放体系
weixin_63866037的博客
08-09 1249
视频时间不长，30分钟，详细介绍了书生.浦语大模型的全链路开发体系，以及一些关键的大模型技术，收获颇多，后面想继续KG和RAG以及LLM长文本，基于图神经网络的LLM方向的进一步学习，欢迎大家交流！下面将详细介绍视频的内容。
书生 浦语大模型全链路开源开放体系笔记
dongyi999的博客
11-06 687
书生浦语大模型的开源之路始于去年7月，从7B模型的开源开始，逐步迭代到如今的2.5版本，性能不断提升，甚至在某些方面可以与GPT-4媲美。书生浦语大模型的开源开放体系给我留下了深刻的印象，它不仅仅是一个模型，而是一整套从数据到应用的全链路解决方案。除了不同量级的InternLM模型，书生浦语还提供了针对特定场景的模型，例如InterLM-xComposer多模态模型和InternLM-Math数学模型，进一步扩展了应用范围。书生浦语大模型全链路开源开放体系的不断完善，为AI领域的发展注入了新的活力。
书生大模型全链路开源开放体系的笔记
2401_84656900的博客
11-09 649
书生大模型全链路开源开放体系是上海人工智能实验室（AI Lab）推出的一个基于大模型的开源项目，旨在为研究人员和开发者提供一个完整的、可扩展的、易于使用的平台，用于构建和部署大模型应用程序。该体系包含从基础模型、工具链到应用场景的完整链路，并支持多种语言、多种任务，为大模型研究与应用提供了一套完整的解决方案。
书生大模型全链路开源开放体系笔记
weixin_46828036的博客
11-25 694
它简单易拓展，支持丰富的工具，如AI工具（文生图、文生语音、图片描述），能力拓展（搜索、计算器、代码解释器），RapidAPI（出行API、财经API、体育咨询API）等。视频数据集包含超过1000个节目影像视频，内容覆盖军事、文艺、体育、自然、真实世界、知识、影像艺术、媒体、美食、历史、科教等方面。它支持全量参数、LoRA、QLoRA等低成本微调，覆盖各类SFT场景，并支持多种大语言模型的微调，如InternLM、Llama、QWen、BaiChuan、ChatGLM等。
书生·浦语大模型全链路开源体系-第1关
wux_labs的博客
11-20 789
为了推动大模型在更多行业落地应用，让开发人员更高效地学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为开发人员提供大模型学习和开发实践的平台。本文是书生·浦语大模型全链路开源体系-开源开放体系课程的笔记。
Interlm笔记——第一课：书生·浦语大模型全链路开源体系
qq_44407313的博客
04-15 473
视频首先讨论了通用人工智能的发展趋势，从专用模型向通用大模型的转变。然后介绍了书生模型在过去几个月的升级，包括支持多模态、8K语境和不同尺寸的模型，以及在语言建模能力、对话交互和智能体框架方面的提升。最后，视频介绍了书生·浦语大模型的不同尺寸和类型，以适应不同的使用需求。- 总结了书生葡语的全链路开源开放体系，包括数据、预训练、微调、部署、评测和应用等环节。- 介绍了智能体的框架，包括轻量级智能体框架和多模态智能体工具箱。- 书生·浦语模型的升级：支持8K语境、多模态和不同尺寸的模型。
大模型实战营Day1 书生·浦语大模型全链路开源体系
m0_72806612的博客
01-05 772
第一天学习内容的讲授者为陈恺，是上海人工智能实验室的大牛，毕业于我大清。大模型使得传统对于特定任务，一个模型解决一个问题的方式有了重大突破和改变。本篇为笔者参加实战营第一天的学习笔记，后续会持续更新。主打的是一手参数量很小，但是性能在一些测试集上很高。本次课程的核心内容到此告一段落。
[InternLM 大模型开源社区]大模型实战营第三期@202408-基础岛-第1关-书生·浦语大模型全链路开源开放体系
维克的博客
08-10 484
这是mindsearchUI(其实bing,baidu很早有智能检索,后期google的gemini也更上来,国内kimi也有此功能.但是其本质是搜索引擎大于AI.而最新的chatgpt给出的解决方案比较贵,很商业化.此时开源可本地部署的mind search就给了普通用户一个无法拒绝的方案)- 经过一周年的开发迭代与开放开源,目前已经到了2.5版本。- 让我们来学习一下Internlm开源开放体系。- 这是AI搜索助手的运行Flow。
书生·浦语大模型全链路开源体系 学习笔记 第三课
sinat_41838539的博客
01-09 1112
2、版本需要旧版，pip install huggingface_hub==0.20.1。1、确保环境已将安装huggingface-cli。
pcie笔记
bortonyu的博客
12-11 768
模式全称描述共用参考时钟Root Complex（RC）和 Endpoint（EP）使用同一颗外部 RefclkSRNSRC 和 EP 使用独立时钟源，但 不允许展频（SSC）SRISRC 和 EP 使用独立时钟源，允许各自带有 SSC 抖动txt复制编辑FS 表示信号的总摆幅，用于判断是否满足发送器输出的最大电压范围（如 800mV full swing）。Full Swing 模式下：FS ∈ [24, 63]Reduced Swing 模式下：FS ∈ [12, 63]
运放学习笔记
Z97371539的博客
12-13 542
单电源运放是指仅使用单一电源电压（例如，+5V）和地（0V）作为电源供给的运放。也就是说，它只需要一个正电压和地作为参考电压，而不需要负电压。
先立后破：Linux 下“新建管理员 → 验证 → 禁用 root 远程 SSH”的零翻车笔记
weixin_45626288的博客
12-12 503
本文提供了一套零风险的Linux服务器安全加固流程，重点解决等保2.0要求的"禁用root远程SSH"需求。通过"先立后破"原则，先创建并验证新管理员账号的sudo权限，再禁用root远程登录，全程保持root会话不断开作为应急通道。关键步骤包括：创建新管理员账号、配置sudo权限、严格测试新账号功能、安全修改sshd配置、保留本地root登录权限等。文章特别强调验证环节的重要性，并提供了快速回滚方案，确保运维人员不会因配置失误导致服务器失联。这套方法适用于Kylin
Android学Dart学习笔记第十四节 库和导库
最新发布
weixin_44656996的博客
12-15 535
其他语言中的访问修饰符关键字提供了更细粒度的控制，而Dart使用下划线和基于库的隐私提供了直接的配置机制，有助于高效实现动态访问，并改进了树抖动（死代码消除）。库不仅提供api，还是隐私的单位：以下划线（_）开头的标识符只在库内部可见。当你导入的多个库中，使用了相同的类名时，可以为库起个别名，使用 别名.类名 明确指定所引用的类。使用import来指定如何在另一个库的作用域中使用来自一个库的命名空间。带有通配符_的导入前缀是不绑定的，但可以访问该库中的非私有扩展。
学习笔记095——Ubuntu 安装 lrzsz 服务？
code__bee的博客
12-10 414
lrzsz是一款基于协议的文件传输工具集，专门用于在终端环境下实现本地与远程服务器之间的文件上传和下载，是 Linux/Unix 运维和开发场景中常用的轻量级工具。
AD学习笔记-36 gerber文件输出
2401_83451707的博客
12-14 232
今天，我们学习如何导出gerber文件，这是我们给板厂的最终文件。
【笔记】创建systemctl服务
Word_And_Me_的博客
12-10 499
在 Linux 中通过systemctl管理 Python 脚本作为运行，核心是创建systemd服务配置文件（.service），让系统以守护进程方式启动 / 管理你的 Python 代码。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值