Ameliorating-优快云博客

原创书生大模型实战营L2G6000 - MindSearch深度解析实践

MindSearch 是一个开源的 AI 搜索引擎框架，具有与 Perplexity.ai Pro 相同的性能。

2025-01-11 18:15:54 1667

原创书生大模型实战营L2G4000 - InternVL 部署微调实践

我们主要通过接口来构造多轮对话管线，核心代码为：## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文lmdeploy推理的核心代码如上注释所述。

2025-01-11 01:00:22 1265

原创书生大模型实战营L2G3000 - LMDeploy 量化部署进阶实践

创建开发机，选择镜像。我们要运行参数量为7B的InternLM2.5，由查询InternLM2.5-7b-chat的config.json文件可知，bfloat16所以我们需要大于14GB的显存，选择(24GB显存容量)，后选择，等状态栏变成运行中，点击，我们即可开始部署。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

2025-01-08 18:19:49 720

原创书生大模型实战营L2G2000 - 从零搭建你的 Multi-Agent

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器。

2025-01-06 01:33:46 1011

原创书生大模型实战营L1G6000 - OpenCompass 评测书生大模型实践

OpenCompass 提供了和两种方式。其中 API 模式评测针对那些以 API 服务形式部署的模型，而本地直接评测则面向那些可以获取到模型权重文件的情况。我们首先在训练营提供的开发机上创建用于评测 conda 环境:cd /root更多使用说明，请参考 OpenCompass。

2025-01-03 23:47:39 850

原创书生大模型实战营L1G5000 - XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。本节中，我们将演示如何安装 XTuner。

2025-01-03 02:59:56 1978

原创书生大模型实战营L1G4000 - InternLM + LlamaIndex RAG 实践

正式介绍检索增强生成（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。

2024-12-31 04:11:12 2308

原创书生大模型实战营L1G3000 - 浦语提示词工程实践

提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为，类似我们日常使用的输入法。指令要清晰提供参考内容复杂的任务拆分成子任务给 LLM“思考”时间(给出过程)使用外部工具系统性测试变化在提示工程中，第一点给出清晰的指令是至关重要的。一个有效的指令通常包含以下要素：背景、任务、要求、限制条件、示例、输出格式和目标。

2024-12-30 20:51:13 940

原创书生大模型实战营L1G2000 - 玩转书生「多模态对话」和「AI搜索」产品

以下是对于MindSearch开源AI搜索引擎的使用：对其进行任务描述的搜索其右侧进行了关于这个问题的思考，来源搜集和信息整合，并在左侧得出生成答案书生·浦语是InternLM 开源模型官方的对话类产品角色扮演：编程推理多轮对话InternVL 开源的视觉语言模型官方的对话产品多模态能力：图片OCR：图片内容理解：浦语小助手将基础任务中的三个问题在知乎上进行了提问。请以 MindSearch 的回复作为参考 (推荐) 或者直接粘贴 MindSearch 的回复内容在知乎上回答 3 个问题的任意一个。使用Mi

2024-12-29 20:02:46 410

原创书生大模型实战营L1G1000 - 书生大模型全链路开源体系

本文介绍了书生·浦语大模型的开源开放体系和发展历程。其中具体介绍了从数据采集、模型训练到实际应用场景的全流程的解决方案，并提出和实现的具有较高性能的工具产品。其最新模型Informer LM2.5具有高性能的推理能力和处理长文本上下文的能力。其应用产品不止包括了数据，预处理，微调，部署，评测，应用全过程，还包括了支持不同规模和类型的模型，以适用于从小到个人学习者到中大型企业的不同用户类型。其庞大的开源生态系统，涵盖了丰富的数据资源，提供培训框架和测评标准来方便用户和参与者进行友好接触使用和贡献构建。

2024-12-29 18:59:52 890

Ameliorating的博客