向晚大魔王-优快云博客

原创第四期书生大模型实战营L2G6000

在官方的MindSearch页面复制Spaces应用到自己的Spaces下，Space 名称中需要包含 MindSearch 关键词，请在必要的步骤以及成功的对话测试结果当中。找到InternLM官方部署的MindSearch Spaces应用。选择如下配置，注意填上申请的API密钥。

2024-12-22 23:46:38 328

原创第四期书生大模型实战营L2G4000

可以看到模型虽然能够根据图片回答问题，但是回答存在很多错误可以看到微调后的模型能够正确回答出我们提出的问题。

2024-12-22 22:32:14 219

原创第四期书生大模型实战营L2G2000

在这一节中，我们将使用 Lagent 来构建一个多智能体系统 (Multi-Agent System)，展示如何协调不同的智能代理完成内容生成和优化的任务。我们的多智能体系统由两个主要代理组成：（1）内容生成代理：负责根据用户的主题提示生成一篇结构化、专业的文章或报告。（2）批评优化代理：负责审阅生成的内容，指出不足，推荐合适的文献，使文章更加完善。

2024-12-09 21:16:35 805

Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。2、kv cache占用9.2GB：剩余显存24-0.9=23.1GB，kv cache占用40%，即23.1*0.4=9.2GB。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。所以11.4GB=权重占用0.9GB+kv cache占用9.2GB+其它项1.3GB。运行如下命令，启动命令行客户端。

2024-11-22 18:06:25 889

原创第四期书生大模型实战营L1G6000

本次实践的主要目标是通过OpenCompass对浦语API及InternLM2.5-Chat-1.8B模型进行性能评估，在ceval数据集上进行了测试。此外，作为进阶任务的一部分，还进行了主观评测，并探索了InternLM2-Chat-1.8B模型通过LMDeploy部署后的性能。

2024-11-14 17:08:41 1005

原创第四期书生大模型实战营L1G5000

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件，那么我们可以通过以下命令来实现一键转换。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。在 XTuner 中提供了一键合并的命令。

2024-11-12 15:48:28 376

原创第四期书生大模型实战营L1G4000

通过本次任务，我们验证了 LlamaIndex 在增强语言模型回答特定问题方面的能力：提升回答准确性：LlamaIndex 显著提高了浦语 API 和 InternLM2-Chat-1.8B 模型在回答特定领域问题时的准确性和可靠性。扩展知识范围：借助 LlamaIndex 构建的知识库，模型能够获取更多领域的知识，进而更好地应对各种复杂问题。灵活集成：LlamaIndex 提供了灵活的接口和工具，使得将知识库集成到现有系统中变得简单高效。

2024-11-09 22:57:13 496

原创第四期书生大模型实战营L1G2000

原图：与书生·万象关于这张图片的对话：

2024-11-08 11:17:22 303

原创第四期书生大模型实战营L1G1000

全链条开源，包含大模型领域全链条工具，例如多模态语料库书生万卷、训练框架InternEvo、推理框架LMDeploy等。在数据处理工具方面，包括数据提取工具Miner U，数据标注工具Label LLM和Label U。在数据方面已开源180TB大小的数据，并且拥有丰富多样的开放数据以及服务与工具。轻量级智能体框架Lagent使用简单，并且支持多种大模型和多类型的智能体能力。书生浦语开原模型谱系，包含多种不同参数大小的模型，以及多种多模态模型。部署框架LMDeploy,能够实现可靠的量化和高效的推理。

2024-11-04 16:18:01 310

原创第四期书生大模型实战营L1G3000

使用结构化提示词可以让模型完成引导用户进行MBTI测试并给出合理解释的任务，不使用系统提示时模型则完全没有开始进行用户要求的测试任务，可以看出使用结构化提示词比直接回答的结果拥有更准确的回答能力、更流畅的语言形式和更准确的流程遵循能力。将不使用系统提示的书生浦语大模型作为 baseline 对比，提交的系统提示词要指导LLM表现出比baseline更高的性能，提供对比截图并加以分析说明即可。可以看出使用结构化提示词比直接回答的结果拥有更明显的风格、更准确的格式和更流畅的语言形式，以及更准确的流程遵循能力。

2024-10-31 15:51:31 341

原创第四期书生大模型实战营L0G4000

新建下载internlm2_5-7b-chat的配置文件：运行配置文件：指定文件已下载：使用命令登录HF平台：克隆项目到本地：创建项目并用git提交到远程仓库：

2024-10-30 21:23:25 295

原创第四期书生大模型实战营L0G3000

目录任务1: 破冰活动：自我介绍任务2: 实践项目：构建个人项目任务1: 破冰活动：自我介绍任务2: 实践项目：构建个人项目

2024-10-27 23:28:24 222

原创第四期书生大模型实战营L0G2000

完成Leetcode 383, 笔记中提交代码与leetcode提交通过截图。使用VScode连接开发机，用任务一的代码走一遍debug的流程并做笔记。

2024-10-27 21:26:36 247

原创第四期书生大模型实战营L0G1000

新建conda环境test_env。运行hello_world.py。使用密码进行SSH远程连接。vscode远程连接开发机。

2024-10-27 21:02:00 234

原创《OpenCompass 大模型评测实战》课程笔记及作业

评测大模型的方法，评测的模型包括基座模型、对话模型、公开权重的开源模型和API模型，对于不同种类的模型都有不同的评测方法。CompassKit大模型评测全栈工具链，支持数据污染检查、更丰富的模型推理接入、长文本能力评测和中英文双语主观评测。评测方法包括客观评测与主观评测，客观评测问题包括问答题和选择题等，主观评测则需要人类或者模型对内容进行打分。评测流水线，支持任意模型和大量数据集，并且支持任务切分及并行化，能够高效利用资源进行评测。模型评测中的提示词工程，合适的提示词能更大程度上反映模型的真实性能。

2024-05-08 23:16:08 163 1

原创《Lagent & AgentLego 智能体应用搭建》课程笔记及作业

在和风天气平台上创建api key天气查询结果天气查询结果修改配置文件之后，在 Tool 界面选择 MagicMakerImageGeneration生成结果如下图，可以看到模型成功地调用了工具并得到了结果。

2024-05-04 23:03:55 350

原创【LMDeploy 量化部署 LLM 实践】课程笔记及作业

LMDeploy的KV Cache管理器可以通过设置–cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。为了更加明显体会到W4A16的作用，将KV Cache比例再次调为0.01，查看显存占用情况。模型量化，基本思想是将表示方法中的浮点数转换为整数或其他离散形式，降低访存量，降低深度学习模型的存储和计算负担。下面，改变–cache-max-entry-count参数，设为0.5。模型部署指将训练好的深度学习模型在特定环境中运行的过程。大模型部署面临的挑战之一是计算量巨大。

2024-04-29 08:26:54 222

原创《XTuner 微调 LLM：1.8B、多模态、Agent》课程笔记及作业

LLaVA过程，分为两个阶段：1、Pretrain阶段，训练数据为图像和描述图像的短文本组成的图像-文本对，将其输入到文本单模态LLM中进行训练，得到Pretrained LLaVA模型，类似增量预训练阶段 2、微调数据为图像和复杂对话文本组成的图像-文本对，对 Pretrained LLaVA进行微调，得到Finetuned LLaVA模型，相当于指令微调阶段。LLaVa方案，类似LoRA微调方案，在已有LLM的基础上，用新的数据训练一个新的组成部分，结合到原有LLM基础上。训练后的部分结果文件。

2024-04-24 22:58:19 911

weixin_51956916的博客